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说 明 : 学 习 Elasticsearch 以 及 了 解 一 下 gitbook 这 个 平台 


第 1 章 认识 Elasticsearch 


希望 读者 通过 阅读 本 书 ， 能 够 扩展 和 巩固 ElasticSearch 的 基础 知识 。 假 定 读者 已 经 知道 
用 单个 请 求 (curl) 和 批量 索引 向 ElasticSearch 导 入 数据 ; 也 知道 如 何 发 送 请 求 获取 目标 文档 ; 
也 知道 如 何 通 过 filter 过 滤 查 询 结 果 。 使 结果 更 精确 ; 也 知道 如 何 使 用 facet/aggregation 机 制 来 
对 结果 进行 统计 处 理 ， 在 学 习 ElasticSearch 那 些 激动 人 心 的 功能 之 前 ， 还 是 需要 快速 了 解 一 
下 Apache Lucene ° Apache Lucene， 一 种 全 文 检索 工具 。ElasticSearch 就 是 构建 在 Lucene 
之 上 的 。 与 此 同时 ，ElasticSearch 也 洛克 了 Lucene 的 基本 概念 。 如 果 想 更 快 地 理解 
ElasticSearch, 就 必须 牢记 Lucene 的 基本 概念 。 当 然 ， 记 住 概念 是 很 简单 的 。 但 是 如 果 想 掌 
握 Elasticsearch ,在 记 住 Lucene 概 念 概念 的 基础 之 上 ， 还 必须 理解 这 些 概念 。 在 本 章 ， 我 们 将 
学 到 如 下 的 知识 。 


Apache Lucene 的 简单 介绍 
Lucene 的 总 体 架 构 
文本 解析 (analysis) 的 过 程 
ElasticSearch 的 基本 概念 
ElasticSearch 的 内 部 通信 机 制 


1 Apache Lucene 


为 了 更 深入 地 理解 ElasticSearch 的 工作 原理 ， 特 别 是 索引 和 查询 这 两 个 过 程 ， 理 解 
Lucene 的 工作 原理 至 关 重 要 。 本 质 上 ，ElasticSearch 是 用 Lucene 来 实现 索引 的 查询 功能 的 。 
如 果 读 者 没有 用 过 Lucene， 下 面 的 几 个 部 分 将 为 您 介绍 Lucene 的 基本 概念 。 


h Æ Lucene 


读者 也 许 会 产生 疑问 ， 为 什么 ElasticSearch 的 创造 者 最 终 采 用 Lucene 而 不 是 自己 开发 相 
应 功能 的 组 件 。 我 们 也 不 知道 为 什么 ， 因 为 我 们 不 是 决策 者 。 但 是 我 们 可 以 猜想 可 能 是 因为 
Lucene 是 一 个 成 熟 的 、 高 性 能 的 、 可 扩展 的 、 轻 量 级 的 ， 而 且 功 能 强大 的 搜索 引擎 包 
Lucene 的 核心 jar 包 只 有 一 个 文件 ， 而 且 不 依赖 任何 第 三 方 jar 包 。 更 重要 的 是 ， 它 提供 的 索引 
数据 和 检索 数据 的 功能 开 箱 即 用 。 当 然 ，Lucene 也 提供 了 多 语言 支持 ， 具 有 拼写 检查 、 高 亮 
等 功能 ; 但 是 如 果 你 不 需要 这 些 功 能 ， 你 只 需要 下 载 Lucene 的 核心 jar 包 ， 应 用 到 你 的 项 目 中 
就 可 以 了 。 


总体 采 构 


尽管 我 希望 直 奔 主题 ， 介 绍 Lucene 的 架构 ， 但 是 首先 必须 理解 一 些 概念 才能 更 好 地 理解 
Lucene 的 架构 ， 这 些 概念 是 : 


° Document: 它 是 在 索引 和 搜索 过 程 中 数据 的 主要 表现 形式 ， 或 者 称 " 载 体 "， 承 载 着 
我 们 索引 和 搜索 的 数据 , 它 由 一 个 或 者 多 个 域 (Field) 组 成 。 


° Field: 它 是 Document 的 组 成 部 分 ， 由 两 部 分 组 成 ， 名 称 (name) 和 值 (value) ° 
° Term: 它 是 搜索 的 基本 单位 ， 其 表现 形式 为 文本 中 的 一 个 词 。 
° Token: 它 是 单个 Term 在 所 属 Field 中 文本 的 呈现 形式 ， 包 含 了 Term 内 容 、Term 类 


型 、Term 在 文本 中 的 起 始 及 偏 移 位 置 。 


Apache Lucene 把 所 有 的 信息 都 写 入 到 一 个 称 为 * 倒 排 索 引 ** 的 数据 结构 中 。 这 种 数据 结 
构 把 索引 中 的 每 个 Term 与 相应 的 Document 映 射 起 来 ， 这 与 关系 型 数据 库存 储 数据 的 方式 有 很 
大 的 不 同 。 读 者 可 以 把 倒 排 索引 想象 成 这 样 的 一 种 数据 结构 : 数据 以 Term 为 导向 ， 而 不 是 以 
Document 为 导向 。 下 面 看 看 一 个 简单 的 倒 排 索引 是 什么 样 的 ， 假 定 我 们 的 Document 只 有 title 
域 (Field) 被 编 入 索引 ，Document 如 下 : 


* ElasticSearch Servier (document 1) * Mastering ElasticSearch (document 2) * Apache 

Solr 4 Cookbook (document 3) 所 以 索引 (以 一 种 直观 的 形式 ) 展 现 如 下 : | Term | count | Docs 
[|1--|1--|1--114111<3> |IApache |1 |<3> | | Cookbook | 1 | <3> | | ElasticSearch | 2 | <1> 
<2> | | Mastering| 1| <1> || Server| 1| <1> | | Solr | 1 | <3> | 


正如 所 看 到 的 那样 ， 每 个 词 都 指向 它 所 在 的 文档 号 (Document Number/Document ID) ° 
这 样 的 存储 方式 使 得 高 效 的 信息 检索 成 为 可 能 ， 上 比如 基于 词 的 检索 (term-based query) ° xt 
外 ， 每 个 词 映射 着 一 个 数值 (Count)， 它 代表 着 Term 在 文档 集中 出 现 的 频繁 程度 。 


当然 ，Lucene 创 建 的 丨 实 索 引 远 比 上 文 复杂 和 先进 。 这 是 因为 在 Lucene 中 ， 词 向 量 ( 由 单 
独 的 一 个 Field 形 成 的 小 型 倒 排 索引 ， a 息 ) 可 以 存 
## ; 所 有 Field 的 原始 信息 可 以 存储 ; 删除 Document 的 标记 信息 可 以 存储 ...... ° 核心 在 于 了 解 
数据 的 组 织 方 式 ， 而 非 存储 细节 。 


每 个 索引 被 分 成 了 多 个 段 (Segment)， 段 具有 一 次 写 入 ， 多 次 读 取 的 特点 。 只 要 形成 了 ， 
段 就 无 法 被 修改 。 例 如 : 被 删除 文档 的 信息 被 存储 到 一 个 单独 的 文件 ， 但 是 其 它 的 段 文 件 并 
没有 被 修改 。 


需要 注意 的 是 ， 多 个 段 是 可 以 合并 的 ， 这 个 合并 的 过 程 称 为 Segments merge。 经 过 强 
制 合并 或 者 Lucene 的 合并 策略 触发 的 合并 操作 后 ， 原 来 的 多 个 段 就 会 被 Lucene 创 建 的 更 大 的 
一 个 段 所 代替 了 。 很 显然 ， 段 合并 的 过 程 是 一 个 JIJO 密 集 型 的 任务 。 这 个 过 程 会 清理 一 些 信 
息 ， 比 如 会 删除 .del 文 件 。 除 了 精 减 文件 数量 ， 段 合并 还 能 够 提高 搜索 的 效率 ， 毕 竟 同 样 的 信 
息 ， 在 一 个 段 中 读 取 会 比 在 多 个 段 中 读 取 要 快 得 多 。 但 是 ， 由 于 段 合 并 是 IO 密集 型 任务 ， 建 
议 不 好 强制 合并 ， 小 心地 配置 好 合并 策略 就 可 以 了 。 


”如 果 想 了 解 段 由 哪些 文件 组 成 ， 想 了 解 每 个 文件 中 存储 了 什么 信息 ， 可 以 参考 
一 Apache Lucene documentation ,访问 地 址 : 


http://lucene.apache.org/core/4 5_ 0O/core/org/apache/lucene/codecs/lucene4 
5/package-summary.html. 


分 析 你 的 文本 

问题 到 这 里 就 变 得 稍微 复杂 了 一 些 。 传 入 到 Document 中 的 数据 是 如 何 转变 成 倒 排 索引 
的 ?查询 语句 是 如 何 转换 成 一 个 个 Term 使 高 效率 文本 搜索 变 得 可 行 ? 这 种 转换 数据 的 过 程 就 
称 为 文本 分 析 (analysis) 


文本 分 析 工 作 由 analyzer 组 件 负 责 。analyzer 由 一 个 分 词 器 (tokenizer) 和 0 个 或 者 多 个 过 
滤器 (filter) 组 成 ,也 可 能 会 有 0 个 或 者 多 个 字符 映射 器 (character mappers) 组 成 。 


Lucene 中 的 tokenizer 用 来 把 文本 拆 分 成 一 个 个 的 Token。Token 包 含 了 比较 多 的 信息 ， 
比如 Term 在 文本 的 中 的 位 置 及 Term 原 始 文本 ， 以 及 Term 的 长 度 。 文 本 经 过 tokenizer 处 理 后 
的 结果 称 为 token stream ° token stream 其 实 就 是 一 个 个 Token 的 顺序 排列 。token stream 将 
等 待 着 filter 来 处 理 。 


除了 tokenizer 外 ，Lucene 的 另 一 个 重要 组 成 部 分 就 是 filter 链 ，filter 链 将 用 来 处 理 Token 
Stream 中 的 每 一 个 token。 这 些 处 理 方式 包括 删除 Token, 改 变 Token， 甚 至 添加 新 的 Token ° 
Lucene 中 内 置 了 许多 filter， 读 者 也 可 以 轻松 地 自己 实现 一 个 filter。 有 如 下 内 置 的 filter : 


° Lowercase filter : 把 所 有 token 中 的 字符 都 变 成 小 写 
° ASCII folding filter : 去 除 tonken 中 非 ASCII 码 的 部 分 
° Synonyms filter : 根据 同义词 替换 规则 替换 相应 的 token 
° Multiple language-stemming filters : 把 Token( 实 际 上 是 Token 的 文本 内 容 ) 转 化 成 
词根 或 者 词 干 的 形式 。 
所 以 通过 Filter 可 以 让 analyzer 有 几乎 无 限 的 处 理 能 力 : 因为 新 的 需求 添加 新 的 Filter 就 可 
VLT œ 


索引 和 查询 


在 我 们 用 Lucene 实 现 搜索 功能 时 ， 也 许 会 有 读者 不 明 觉 历 : 上 述 的 原理 是 如 何 对 索引 过 
程 和 搜索 过 程 产 生 影响 ? 


索引 过 程 : Lucene 用 用 户 指定 好 的 analyzer 解 析 用 户 添加 的 Document。 当 然 Document 
中 不 同 的 Field 可 以 指定 不 同 的 analyzer。 如 果 用 户 的 Document 中 有 title 和 description 
两 个 Field， 那 么 这 两 个 Field 可 以 指定 不 同 的 analyzer。 


搜索 过 程 : 用 户 的 输入 查询 语句 将 被 选 定 的 查询 解析 器 (query parser) 所 解析 ,生成 多 个 
Query 对 象 。 当 然 用 户 也 可 以 选择 不 解析 查询 语句 ， 使 查询 语句 保留 原始 的 状态 。 在 
ElasticSearch 中 ， 有 的 Query 对 象 会 被 解析 (analyzed)， 有 的 不 会 ， 比 如 : 前 缓 查询 (prefix 
query) 就 不 会 被 解析 ， 精 确 匹 配 查 询 (match query) 就 会 被 解析 。 对 用 户 来 说 ， 理 解 这 一 点 至 


对 于 索引 过 程 和 搜索 过 程 的 数据 解析 这 一 环节 ， 我 们 需要 把 握 的 重点 在 于 : 倒 排 索引 中 
词 应 该 和 查询 语句 中 的 词 正确 匹配 。 如 果 无 法 匹配 ， 那么 Lucene 也 不 会 返回 我 们 喜闻乐见 的 
结果 。 举 个 例子 : 如 果 在 索引 阶段 对 文本 进行 了 转 小 写 (lowercasing) 和 转变 成 词根 形式 
(stemming) 处 理 ， 那 么 查询 语句 也 必须 进行 相同 的 处 理 ， 不 然 就 搜索 结果 就 会 是 竹 篮 打 水 


—— o 


Lucene 查 询 语 言 


ElasticSearch 提 供 的 一 些 查询 方式 (query types) 能 够 被 Lucene 的 查询 解析 器 (query parser) 语 
法 所 支持 。 由 于 这 个 原因 ， 我 们 来 深入 学 习 Lucene 查 询 语 言 ， 了 解 其 庐山 丨 面目 吧 。 


基础 语法 


用 户 使 用 Lucene 进 行 查询 操作 时 ， 输 入 的 查询 语句 会 被 分 解 成 一 个 或 者 多 个 Term 以 及 逻辑 运 
算 符号 。 一 个 Term， 在 Lucene 中 可 以 是 一 个 词 ， 也 可 以 是 一 个 短语 (用 双 引 号 括 引 来 的 多 个 
词 )。 如 果 事 先 设 定 规则 : 解析 查询 语句， 那么 指定 的 analyzer 就 会 用 来 处 理 查 询 语 名 的 每 个 


term 形 成 Query 对 象 。 


一 个 Query 对 象 中 会 存在 多 个 布尔 运算 符 ， 这 些 布尔 运算 符 将 多 个 Term 关 联 起 来 形成 查询 子 
的 。 布 尔 运算 符号 有 如 下 类 型 : 


e° AND (与 ) :给 定 两 个 Term( 堪 运算 对 象 和 右 运算 对 象 )， 形 成 一 个 查询 表达 式 。 只 有 两 个 
Term 都 匹配 成 功 ， 查 询 子 句 才 匹配 成 功 。 上 比如 : 查询 语句 "apache AND lucene" 的 意思 是 
匹配 含 apache 且 人 钨 lucene 的 文档 。 

° OR (或 ) :给 定 的 多 个 Term， 只 要 其 中 一 个 匹配 成 功 ， 其 形成 的 查询 表达 式 就 匹配 成 功 。 比 
如 查询 表达 式 "apache OR lucene" 能 够 匹配 包含 “apache” 的 文档 ， 也 能 匹配 包 
含 "lucene" 的 文档 ， 还 能 匹配 同时 包含 这 两 个 Term 的 文档 。 

e° NOT ( 非 ): 这 意味 着 对 于 与 查询 语句 匹配 的 文档 ，NOT 运 算 符 后 面 的 Term 就 不 能 在 文档 中 
出 现 的 。 例 如 : 查询 表达 式 “lucene NOT elasticsearch” 就 只 能 匹配 包含 lucene 但 是 不 含 
elasticsearch 的 文档 。 





此 外 ， 我 们 也 许 会 用 到 如 下 的 运算 符 : 

° + 这 个 符号 表明 : 如 果 想 要 查询 语句 与 文档 匹配 ， 那 么 给 定 的 Term 必 须 出 现在 文档 中 。 例 
如 : 希望 搜索 到 包含 关键 词 lucene, 最 好 能 包含 关键 词 apache 的 文档 ， 可 以 用 如 下 的 查询 
表达 式 : "+ucene apache" ° 

e -这 个 符号 表明 : 如 果 想 要 查询 语句 与 文档 匹配 ， 那 么 给 定 的 Term 不 能 出 现在 文档 中 。 例 
如 :希望 搜索 到 包含 关键 词 lucene, 但 是 不 含 关键 词 elasticsearch 的 文档 ， 可 以 用 如 下 的 
查询 表达 式 : "+lucene -elasticsearch" ° 


如 果 在 Term 前 没有 指定 运算 符 ， 那 么 默认 使 用 OR 运算 符 。 
此 外 ， 也 是 最 后 一 点 : 查询 表达 式 可 以 用 小 括号 组 合 起 来 ， 形 成 复杂 的 查询 表达 式 。 比 如 : 


elasticsearch AND (mastering OR Dbook) 


多 域 查询 


当然 ， 跟 ElasticSearch 一 样 ，Lucene 中 的 所 有 数据 都 是 存储 在 一 个 个 的 Field 中 ， 多 个 Field 形 
成 一 个 Document。 如 果 和 希望 查询 指定 的 Field, 就 需要 在 查询 表达 式 中 指定 Field Name( 此 域名 
非 彼 域名 )， 后 面 接 一 个 冒号 ， 紧 接着 一 个 查询 表达 式 。 例 如 : 查询 title 域 中 包含 关键 词 
elasticsearch 的 文档 ， 查 询 表达 式 如 下 : 


eC 
也 可 以 把 多 个 查询 表达 式 用 于 一 个 域 中 。 例 如 : 查询 title 域 中 含 关键 词 elasticsearch 并 且 含 短 
语 “mastering book” 的 文档 ， 查 询 表 达 式 如 下 : 
taie lie (ele atas nehi tamas tering Oke 
当然 ， 也 可 以 换 一 种 写法 ， 作 用 是 一 样 的 : 


euler e lasereh ptt be: ma Ste ok 








词语 修饰 符 


除了 可 以 应 用 简单 的 关键 词 和 查询 表达 式 实现 标准 的 域 查 询 ，Lucene 还 支持 往 查 询 表 达 式 中 
传 入 修饰 符 使 关键 词 具 有 变形 能 力 。 最 常用 的 修饰 符 ， 也 是 大 家 都 熟知 的 ， 就 是 通配符 。 
Lucene 支 持 ? 和 WW 两 种 通配符 。? 可 以 匹配 任意 单个 字符 ， 而 \* 能 够 匹配 多 个 字符 。 


| 生 能 考虑 ， 默 认 的 通配符 不 能 是 关键 词 的 首 字母 。 ] 


此 外 ，Lucene 支 持 模糊 查询 (fuzzy query) 和 邻近 查询 (proximity query)。 语 法 规则 是 查询 表达 
式 后 面 接 一 个 ~ 符号 ， 后 面 紧 跟 一 个 整数 。 如 果 查 询 表达 式 是 单独 一 个 Term， 这 表示 我 们 的 搜 
索 关 键 词 可 以 由 Term 变 形 (替换 一 个 字符 ， 添 加 一 个 字符 ， 删 除 一 个 字符 ) 而 来 ， 即 与 Term 是 
相似 的 。 这 种 搜索 方式 称 为 模糊 搜索 (fuzzy search)。 在 ~ 符号 后 面 的 整数 表示 最 大 编辑 距离 。 
例如 : 执行 查询 表达 式 "Writer~2" 能 够 搜索 到 含 writer 和 writers 的 文档 。 


当 ~ 符 号 用 于 一 个 短语 时 ，~ 后 面 的 整数 表示 短语 中 可 接收 的 最 大 的 词 编辑 距离 (短语 中 替换 一 
个 词 ， 添 加 一 个 词 ， 删 除 一 个 词 )。 举 个 例子 ,查询 表达 式 title:"mastering elasticsearch" 只 能 匹 
配 title 域 中 含 "mastering elasticsearch" 的 文档 ， 而 无 法 匹配 含 "mastering book 

elasticsearch" 的 文档 。 但 是 如 果 查 询 表达 式 变 成 title:"mastering elasticsearch"~2, 那 么 两 种 文 
档 就 都 能 够 成 功 匹配 了 。 


此 外 ， 我 们 还 可 以 使 用 加 权 (boosting) 机 制 来 改变 关键 词 的 重要 程度 。 加 权 机 制 的 语法 是 一 个 ^ 
符号 后 面 接 一 个 浮 点 数 表示 权重 。 如 果 权 重 小 于 1， 就 会 降低 关键 词 的 重要 程度 。 同 理 ， 如 果 
权重 大 于 1 就 会 增加 关键 词 的 重要 程度 。 默 认 的 加 权 值 为 1。 可 以 参考 第 2 章 活用 用 户 查询 语 


š 的 Lucene 上 默认 打分 规则 详解 章节 部 分 的 内 容 来 了 解 更 多 关于 加 权 (boosting) 是 如 何 影响 打 
分 排序 的 。 


除了 上 述 的 功能 外 ，Lucene 还 支持 区 间 查 询 (range searching), 其 语法 是 用 中 括号 或 者 } 表 示 区 
闻 。 例 如 : 如 果 我 们 查询 一 个 数值 域 (numeric field)， 可 以 用 如 下 查询 表达 式 : 


price:[10.00 TO 15.00] 
这 条 查询 表达 式 能 查询 到 price 域 的 值 在 10.00 到 15.00 之 间 的 所 有 文档 。 
对 于 string 类 型 的 field， 区 间 查 询 也 同样 适用 。 例 如 : 

name: [Adam TO Adrial 


这 条 查询 表达 式 能 查询 到 name 域 中 含 关键 词 Adam 到 关键 词 Adria 之 间 关 键 词 (字符 串 升 序 ， 且 
闭 区 间 ) 的 文档 。 

如 果 希 望 区 间 的 边界 值 不 会 被 搜索 到 ， 那 么 就 需要 用 大 括号 替换 原来 的 中 括号 。 例 如 ， 查 询 
price 域 中 价格 在 10.00(10.00 要 能 够 被 搜索 到 ) 到 15.00(15.00 不 能 被 搜索 到 ) 之 间 的 文档 ， 就 需 
要 用 如 下 的 查询 表达 式 : 


price:[10.00 TO 15.00} 


处 理 特殊 字符 
如 果 在 搜索 关键 词 中 出 现 了 如 下 字符 集合 中 的 任意 一 个 字符 ， 就 需要 用 反 斜 杠 (\) 进 行 转 义 。 
字符 集合 如 下 : +,- &&,||,!,0) ,人 1], A"... 3,:,\,/。 例 如 ， 查 询 关 键 词 abc"efg 就 


需要 转 义 成 abcV'efg ° 


WU% ElasticSearch 


如 果 你 已 经 在 学 习 本 书 的 知识 点 ， 就 说 明 你 可 能 或 多 或 少 知道 一 些 ElasticSearch 的 相关 
知识 ， 至 少 已 经 了 解 了 其 核心 概念 和 基本 用 法 了 。 为 了 更 深入 地 理解 这 款 搜索 引擎 的 工作 原 
理 ， 还 是 简单 的 论述 一 下 相关 知识 吧 。 


大 家 应 该 都 已 经 知道 ElasticSearch 是 一 款 企业 应 用 型 的 软件 工具 ， 用 来 建立 搜索 相关 的 
程序 。 它 最 初 由 ShayBanon 编 写 ( 它 的 前 身 是 compass)， 并 且 于 2010 年 二 月 份 发 布 了 第 一 个 
版 本 。 在 随后 的 几 年 中 ，ElasticSearch 发 展 迅猛 ， 并 且 成 为 了 开源 的 商业 技术 解决 方案 家 族 
中 一 一 支 重 要 的 力量 。ElasticSearch 也 跻身 了 开源 项 目下 载 Top 榜 ， 每 月 的 下 载 量 突破 了 
200000 次 。 


让 我 们 一 起 把 ElasticSearch 的 基本 概念 和 其 特性 浏览 一 遍 。 


索引 (Index) 


ElasticSearch 把 数据 存放 到 一 个 或 者 多 个 索引 (indices) 中 。 如 果 用 关系 型 数据 库 模 型 对 
比 ， 索 引 (index) 的 地 位 与 数据 库 实 例 (database) 相 当 。 索 引 存 放 和 读 取 的 基本 单元 是 文档 
(Document)。 我 们 也 一 再 强调 ，ElasticSearch 内 部 用 Apache Lucene 实 现 索 引 中 数据 的 读 
写 。 读 者 应 该 清楚 的 是 : 在 ElasticSearch 中 被 视 为 单独 的 一 个 索引 (index)， 在 Lucene 中 可 能 
不 止 一 个 。 这 是 因为 在 分 布 式 体系 中 ，ElasticSearch 会 用 到 分 片 (shards) 和 备份 (replicas) 机 制 
将 一 个 索引 (index) 存 储 多 份 。 


文档 (Document) 


在 ElasticSearch 的 世界 中 ， 文 档 (Document) 是 主要 的 存在 实体 (在 Lucene 中 也 是 如 此 )。 
所 有 的 ElasticSearch 应 用 需求 到 最 后 都 可 以 统一 建 模 成 一 个 检索 模型 : 检索 相关 文档 。 文 档 
(Document) 由 一 个 或 者 多 个 域 (Field) 组 成 ， 每 个 域 (Field) 由 一 个 域名 (此 域名 非 彼 域名 ) 和 一 个 
或 者 多 个 值 组 成 (有 多 个 值 的 值 称 为 多 值 域 (multi-valued))。 在 ElasticSeach 中 ， 每 个 文档 
(Document) 都 可 能 会 有 不 同 的 域 (Field) 集 合 ; 也 就 是 说 文档 (Document) 是 没有 固定 的 模式 和 
统一 的 结构 。 文 档 (Document) 之 间 保 持 结 构 的 相似 性 即 可 (Lucene 中 的 文档 (Document) 也 末 
持 着 相同 的 规定 )。 实 际 上 ，ElasticSearch 中 的 文档 (Document) 就 是 Lucene 中 的 文档 
(Document)。 从 客户 端的 角度 来 看 ， 文 档 (Document) 就 是 一 个 JSON 对 象 (关于 JSON 格 式 的 
相关 信息 ,请 参看 hhtp://en.wikipedia.org/wiki/JSON)。 
HHE 参数 映射 (Mapping) 

在 1.1 节 认识 Apache Lucene 中 已 经 提 到 ， 所 有 的 文档 (Document) 在 存储 之 前 都 必须 
经 过 分 析 (analyze) 流 程 。 用 户 可 以 配置 输入 文本 分 解 成 Token 的 方式 ; 哪些 Token 应 该 被 过 滤 
掉 ; 或 者 其 它 的 的 处 理 流程 ， 比 如 去 除 HTML 标 签 。 此 外 ，ElasticSearch 提 供 的 各 种 特性 ， 比 
如 排序 的 相关 信息 。 保 存 上 述 的 配置 信息 ， 这 就 是 参数 映射 (Mapping) 在 ElasticSearch 中 扮演 
的 角色 。 尽 管 ElasticSearch 可 以 根据 域 的 值 自动 识别 域 的 类 型 (field type)， 在 生产 应 用 中 ， 都 
是 需要 自己 配置 这 些 信息 以 避免 一 些 奇 的 问题 发 生 。 要 保证 应 用 的 可 控 性 。 


文档 类 型 (Type) 


每 个 文档 在 ElasticSearch 中 都 必须 设 定 它 的 类 型 。 文 档 类 型 使 得 同一 个 索引 中 在 存储 结 
构 不 同文 档 时 ， 只 需要 依据 文档 类 型 就 可 以 找到 对 应 的 参数 映射 (Mapping) 信 息 ， 方 便 文档 的 
存 取 。 


节点 (Node) 


单独 一 个 ElasticSearch 服 务 器 实例 称 为 一 个 节点 。 对 于 许多 应 用 场景 来 说 ， 部 署 一 个 单 
节点 的 ElasticSearch 服 务 器 就 足够 了 。 但 是 考虑 到 容错 性 和 数据 过 载 ， 配 置 多 节点 的 
ElasticSearch 集 群 是 明智 的 选择 。 


集群 (Cluster) 


集群 是 多 个 ElasticSearch 节 点 的 集合 。 这 些 节点 齐心 协力 应 对 单个 节点 无 法 处 理 的 搜索 
` 集群 同时 也 是 应 对 由 于 部 分 机 器 (节点 ) 运 行 中 断 或 者 升级 导致 无 法 提供 
服务 这 一 问题 的 利器 。ElasticSearch 提 供 的 集群 各 个 节点 几乎 是 无 缝 连接 (所 谓 无 缝 连接 ， 即 
集群 对 外 而 言 是 一 个 整体 ， 增 加 一 个 节点 或 者 去 掉 一 个 节点 对 用 户 而 言 是 透明 的 < 个 人 理解 ， 
仅 供 参考 >)。 在 ElasticSearch 中 配置 一 个 集群 非常 简单 ， 在 我 们 看 来 ， 这 是 在 与 同类 产品 中 
竞争 所 体现 出 的 最 大 优势 。 


分 片 索引 (Shard) 


前 面 已 经 提 到 ， 集 群 能 够 存储 超出 单机 容量 的 信息 。 为 了 实现 这 种 需求 ，ElasticSearch 
把 数据 分 发 到 多 个 存储 Lucene 索 引 的 物理 机 上 。 这 些 Lucene 索 引 称 为 分 片 索引 ， 这 个 分 发 的 
过 程 称 为 索引 分 片 (Sharding)。 在 ElasticSearch 集 群 中 ， 索 引 分 片 (Sharding) 是 自动 完成 的 ， 
分 片 索引 (Shard) 是 作为 一 个 整体 呈现 给 用 户 的 。 需 要 注意 的 是 ， 尽 管 索引 分 片 这 个 
程 是 自动 的 ， 但 是 在 应 用 中 需要 事先 调整 好 参数 。 因 为 集群 中 分 片 的 数量 需要 在 索引 创建 
而 且 服务 器 启动 后 是 无 法 修改 的 ， 至 少 目前 无 法 修改 。 


索引 副本 (Replica) 


过 索引 分 片 机 制 (Sharding) 可 以 向 ElasticSearch 集 群 中 导入 超过 单机 容量 的 数据 ， 客 户 
一 个 节点 即 可 实现 对 集群 数据 的 读 写 操作 。 当 集群 负载 增长 ， 用 户 搜 索 请 求 阻塞 
在 单个 节点 上 时 ， 通 过 索引 副本 (Replica) 机 制 就 可 以 解决 这 个 问题 。 索 引 副 本 (Replica) 机 制 
的 的 思路 很 简单 : 为 索引 分 片 创建 一 份 新 的 拷贝 ， 它 可 以 像 原来 的 主 分 片 一 样 处 理 用 户 搜索 
请 求 。 同 时 也 顺便 保证 了 数据 的 安全 性 。 即 如 果 主 分 片 数 据 丢失 ，ElasticSearch 通 过 索引 副 
本 使 得 数据 不 丢失 。 索 引 副 本 可 以 随时 添加 或 者 删除 ， 所 以 用 户 可 以 在 需要 的 时 候 动态 调整 
其 数量 。 


时 间 之 门 (Gateway) 


在 运行 的 过 程 中 ，ElasticSearch 会 收集 集群 的 状态 、 索 引 的 参数 等 信息 。 这 些 数据 被 存 
储 在 Gateway 中 。 


ElasticSearch 者 后 的 核心 理念 


ElasticSearch 是 构建 在 极 少 数 的 几 个 概念 之 上 的 。ElasticSearch 的 开发 团队 希望 它 能 够 


快速 上 手 ， 可 扩展 性 强 。 而 且 这 些 核 心 特性 体现 在 ElasticSearch 的 各 个 方面 。 从 架构 的 角度 
来 看 ， 这 些 主 要 特性 是 : 


开 箱 即 用 。 安 装 好 ElasticSearch 后 ， 所 有 参数 的 默认 值 都 自动 进行 了 比较 合理 的 设置 ， 
基本 不 需要 额外 的 调整 。 包 括 内 置 的 发 现 机 制 (比如 Field 类 型 的 自动 匹配 ) 和 自动 化 参数 配 
置 。 

天 生 集 群 。ElasticSearch 默 认 工 作 在 集群 模式 下 。 节 点 都 将 视 为 集群 的 一 部 分 ， 而 且 在 
启动 的 过 程 中 自动 连接 到 集群 中 。 

自动 容错 。ElasticSearch 通 过 P2P 网 络 进行 通信 ， 这 种 工作 方式 消除 了 单 点 故障 。 节 点 
自动 连接 到 集群 中 的 其 它 机 器 ， 自 动 进行 数据 交换 及 以 节点 之 问 相互 监控 。 索 引 分 片 
扩展 性 强 。 无 论 是 处 理 能 力 和 数据 容量 上 都 可 以 通过 一 种 简单 的 方式 实现 扩展 ， 即 增添 
新 的 节点 。 

近 实 时 搜索 和 版 本 控制 。 由 于 ElasticSearch 天 生 支 持 分 布 式 ， 所 以 延迟 和 不 同 节点 上 数 
据 的 短暂 性 不 一 致 无 可 避免 。ElasticSearch 通 过 版 本 控制 (versioning) 的 机 制 尽 量 减少 问 
题 的 出 现 。 


ElasticSearch 的 工作 原理 
接 下 来 简单 了 解 一 下 ElasticSearch 的 工作 原理 。 
启动 过 程 


当 ElasticSearch 的 节点 启动 后 ， 它 会 利用 多 播 (multicast)( 或 者 单 播 ， 如 果 用 户 更 改 了 配 
置 ) 寻 找 集群 中 的 其 它 节点 ， 并 与 之 建立 连接 。 这 个 过 程 如 下 图 所 示 


Multicast request 
Multicast response 





在 集群 中 ， 一 个 节点 被 选举 成 主 节点 (master node)。 这 个 节点 负责 管理 集群 的 状态 ， 当 
群集 的 拓扑 结构 改变 时 把 索引 分 片 分 派 到 相应 的 节点 上 。 


需要 注意 的 是 ， 从 用 户 的 角度 来 看 ， 主 节点 在 ElasticSearch 中 并 没有 占据 着 重 
， 要 的 地 位 ， 这 与 其 它 的 系统 (比如 数据 库 系统 ) 是 不 同 的 。 实 际 上 用 户 并 不 需要 
QS ranny 点 是 主 节 点 ; 所 有 的 操作 需求 可 以 分 发 到 任意 的 节点 ， 
ElasticSearch 内 部 会 完成 这 些 让 用 户 感 到 不 明 觉 历 的 工作 。 在 必要 的 情况 下 ， 
任何 节点 都 可 以 并 发 地 把 查询 子 句 分 发 到 其 它 的 节点 ， 然 后 合并 各 个 节点 返回 
的 查询 结果 。 最 后 返回 给 用 户 一 个 完整 的 数据 集 。 所 有 的 这 些 工 作 都 不 需要 经 
ARA RMATA REPPER ENARAK o ARAME EA 
会 去 检查 哪些 分 片 可 用 ， 决 定 哪些 分 片 作为 主 分 片 。 处 理 完成 后 ， 集 群 就 会 转 入 到 黄色 状 
大 


° 


这 意味 着 集群 已 经 可 以 处 理 搜索 请 求 了 ， 但 是 还 没有 火力 全 开 ( 这 主要 是 由 于 所 有 的 主 索 
引 分 片 (primary shard) 都 已 经 分 配 好 了 ， 但 是 索引 副本 还 没有 )。 接 下 来 需要 做 的 事情 就 是 找 
到 复制 好 的 分 片 ， 并 设置 成 索引 副本 。 当 一 个 分 片 的 副本 数量 太 少 时 ， 主 节点 会 决定 将 缺少 
的 分 片 放置 到 哪个 节点 中 ， 并 且 依 照 主 分 片 创 建 副 本 。 所 有 工作 完成 后 ， 集 群 就 会 变 成 绿色 
的 状态 (表示 所 有 的 主 分 片 的 索引 副本 都 已 经 分 配 完成 ) ° 


探测 失效 节点 


在 正常 工作 时 ， 主 节点 会 监控 所 有 的 节点 ， 查 看 各 个 节点 是 否 工作 正常 。 如 果 在 指定 的 
时 间 里 面 ， 节 点 无 法 访问 ， 该 节点 就 被 视 为 出 故障 了 ， 接 下 来 错误 处 理 程序 就 会 启动 。 集 群 
需要 重新 均衡 一 一 由 于 该 节点 出 现 故 障 ， 分 配 到 该 节点 的 索引 分 片 丢 失 。 其 它 节点 上 相应 的 
分 片 就 会 把 工作 接管 过 来 。 换 名 话说， 对 于 每 个 丢失 的 主 分 片 ， 新 的 主 分 片 将 从 剩余 的 分 片 
副本 (Replica) 中 选举 出 来 。 重 新 安置 新 的 分 片 和 副本 的 这 个 过 程 可 以 通过 配置 来 满足 用 户 需 
求 。 更 多 相关 信息 可 以 参看 第 4 章 分 布 式 索 引 架 构 。 

由 于 只 是 展示 ElasticSearch 的 工作 原理 ， 我 们 就 以 下 图 三 个 节点 的 集群 为 例 。 集 群 中 有 


一 个 主 节点 和 两 个 数据 节点 。 主 节点 向 其 它 的 节点 发 送 Ping 命 令 然后 等 待 回应 。 如 果 没 有 得 
到 回应 (实际 上 可 能 得 不 到 回复 的 Ping 命 令 个 数 取决 于 用 户 配置 )， 该 节点 就 会 被 移出 集群 。 


ElasticSearch 
Node |__ Ping Request, 


ElasticSearch Cluster 





与 ElasticSearch 进 行 通 信 

我 们 已 经 探讨 了 ElasticSearch 是 如 何 构建 起 来 的 ， 但 是 归根 到 底 ， 最 重要 的 是 如 何 往 
ElasticSearch 中 添加 数据 以 及 如 何 查询 数据 。 为 了 实现 上 述 的 需求 ，ElasticSearch 提 供 了 精 
心 设 计 的 API。 这 些 主要 的 API 都 是 基于 REST 风 格 (参看 
http://en.wikipedia.org/wiki/Pepresentational state transfer )。 而 且 这 些 API 非 常 容易 与 其 它 
能 够 处 理 HTTP 请 求 的 系统 进行 集成 。 


ElasticSearch 认 为 数据 应 该 伴随 在 URL 中 ， 或 者 作为 请 求 的 主体 (request body)， 以 一 种 
JSON 格 式 (http://en.wikipedia.org/Wiki/JSON ) 的 文档 发 送 给 服务 器 。 如 果 读 者 用 Java 或 者 其 
它 运行 在 JVM 虚 拟 机 上 的 语言 ， 应 该 关注 一 下 Java API， 它 除了 是 群集 中 内 置 的 REST 风 格 
API 外 ， 功 能 与 URL 请 求 是 一 样 的 。 


值得 一 提 的 是 在 ElasticSearch 内 部 ， 节 点 之 间 的 通信 也 是 用 相关 的 Java API。 如 果 想 了 
解 关于 Java API 更 多 的 内 容 ， 可 以 阅读 第 8 章 ElasticSearch Java API， 但 是 现在 还 是 简要 了 
解 一 下 本 章 提供 的 一 些 API 的 功能 和 使 用 方法 。 注 意 本 章 仅仅 是 对 相关 知识 的 简单 提 点 (作者 
会 假定 读者 已 经 使 对 这 些 知识 有 所 了 解 )。 如 果 事 先 没 有 了 解 相 关 知 识 ， 强 烈 建议 读者 去 学 习 
一 下 。 比 如 本 书 就 做 盖 了 所 有 的 知识 点 。 


索引 数据 


ElasticSearch 提 供 了 4 种 索引 数据 的 办 法 。 最 简单 的 是 使 用 索引 APl, 索 引 API。 通 过 它 可 
以 将 文档 添加 到 指定 的 索引 中 去 。 比 如 ， 通 过 curl 工 具 (访问 http://curl.haxx.se/ )， 我 们 可 以 通 
过 如 下 的 命令 创建 一 个 新 的 文档 : 


curl -XPUT http://localhost:9200/blog/article/1 -d '{ 
"title": "New version of Elastic Search released!", "content": "...", 


"tags": ["announce", "elasticsearch", "release"] 


第 2 种 和 第 3 种 办 法 可 以 通过 bulk API 和 UDP bulk API 批 量 添 加 文档 。 通 常 的 bulk APIKA 
HTTP 协 议 ，UDP bulk API 采 用 非 连 接 的 数据 包 协 议 。UDP 协 议 传输 速度 会 更 快 ， 但 是 可 靠 性 
要 差 一 点 。 最 后 一 种 办 法 就 是 通过 river 插 件 。river 运 行 在 ElasticSearch 集 群 的 节点 上 ， 能 够 
从 外 部 系统 中 获取 数据 。 


有 一 点 需要 注意 ， 索 引 数据 的 操作 只 会 发 生 在 主 分 片 (primary shard) 上 ， 而 不 会 发 生 在 分 
片 副 本 (Replica) 上 。 如 果 索 引 数据 求 发 送 到 的 节点 没有 合适 的 分 片 或 者 分 片 是 副本 ， 那 
么 请 求 会 被 转发 到 含有 主 分 片 的 节 





数据 查询 


查询 API 在 ElasticSearch 中 有 着 很 大 的 比重 。 通 过 使 用 Query DSL( 基 于 JSON ° A 19 3 
复杂 查询 的 语言 ) ， 我 们 能 够 : 


° 使 用 各 种 类 型 的 查询 方式 ， 包 括 : 简单 的 关键 词 查询 (termquery) ,短语 (phrase)、 区 
间 (range)、 布 尔 (boolean)、 模 糊 (fuzzy)、 跨 度 (span)、 通 配 符 (wildcard)、 地 理 位 置 
(spatial) 等 其 它 类 型 的 查询 方式 。 


° 通过 组 合 简单 查询 构建 出 复杂 的 查询 。 

° 过 滤 文档 ， 去 除 不 符合 标准 的 文档 而 且 不 影响 打分 排序 。 

° 查找 给 定 文档 的 相似 文档 。 

° 查找 给 定 短语 的 搜索 建议 和 查询 短语 修正 。 

° 通过 faceting 构 建 动 态 的 导航 和 数据 统计 

° 使 用 prospective search 而 且 找到 匹配 写 定 文档 的 查询 语句 。( 关 于 prospectve 


Search， 似 乎 是 一 种 推送 方式 。 即 把 用 户 的 查询 语句 存储 到 索引 中 ， 如 果 新 的 文档 添加 
到 索引 中 ， 就 把 文档 关联 到 匹配 的 查询 语 名 中。 这 种 查询 适合 于 新 闻 、 博 客 等 会 定时 更 
新 的 应 用 场景 ) 


关于 数据 查询 ， 其 核心 点 在 于 查询 过 程 不 是 一 个 简单 、 单 一 的 流程 。 通 
两 个 阶段 : 查询 分 发 阶段 和 结果 汇总 阶段 。 在 查询 分 发 阶段 ， 会 从 各 个 分 片 
结果 汇总 阶段 ， 会 把 从 各 个 分 片上 查询 到 的 结果 进行 合并 、 排 序 等 其 它 处 理 
给 用 户 。 


这 个 过 程 分 为 
查询 数据 ; 在 


党 
中 
过 程 ， 然 后 返回 
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。 用户 可 以 通过 指定 搜索 类 型 来 控制 查询 的 分 发 和 汇总 过 程 ， 目 前 搜索 类 型 只 有 
GS or Titt 。 在 Packt 的 出 版 的 《ElasticSearch Server》 一 书 中 ， 已 经 讲述 了 
查询 范围 (query scope) 这 一 知识 点 . 


索引 参数 设置 


前 面 已 经 提 到 ElasticSearch 索 引 参 数 的 自动 化 配置 和 文档 结构 及 域 类 型 的 自动 识别 。 当 
然 ，ElasticSearch 也 人 允许 用 户 自 行 修 改 默认 配置 。 用 户 可 以 自行 配置 很 多 参数 ， 比 如 通过 
mapping 配 置 索引 中 的 文档 结构 ， 设 置 分 片 (shard) 和 副本 (replica) 的 的 个 数 ， 设 置 文本 分 析 组 


通过 管理 和 监控 部 分 的 API， 用 户 可 以 更 改 集群 的 设置 。 比 如 调整 节点 发 现 机 制 
(discovery mechanism) 或 者 更 改 索引 的 分 片 策略 。 用 户 可 以 查看 集群 状态 信息 ， 或 者 每 个 节 
点 和 索引 和 统计 信息 。 集 群 监控 的 API 非 常 广泛 ， 相 关 的 使 用 案例 将 会 在 第 5 章 管理 


ElasticSearch ° 


本 和 草 小 结 


在 本 章 我 们 学 习 了 Apache Lucene 的 架构 、 工 作 原 理 、 文 本 分 析 过 程 ， 以 及 如 何 使 用 
Lucene 的 查询 语言 。 此 外 ， 也 探讨 了 ElasticSearch 的 基本 概念 、 架 构 、 内 部 通信 


下 一 章 ， 读 者 将 会 了 解 Apache Lucene 默 认 的 打分 公式 、 查 询 重 写 (query rewiite) 机 制 及 
它 是 如 何 工 作 的 。 此 外 ， 我 们 还 将 探讨 ElasticSearch 的 一 些 功能 ， 例 如 查询 重 排序 、 
搜索 、 批 量 搜索 。 我 们 也 将 探讨 如 何 用 update API 更 新 部 分 文档 ， 如 何 对 数据 进行 排序 、 

何 使 用 filtering 机 制 提升 搜索 性 能 。 最 后 ， 也 会 解析 如 何 权 衡 faceting 机 制 ea 
用 。 


第 2 章 强大 的 户 查询 语言 DSL 


在 前 面 的 章节 里 ， 我 们 介绍 了 什么 是 Apache Lucene 以 及 它 的 架构 是 怎样 的 ， 还 有 文件 

分 析 步 骤 的 处 理 方式 。 此外， 我 们 也 明白 了 是 Lucene 查 询 语言 是 什么 以 及 如 何 应 用 。 我 们 也 
论述 了 ElasticSearch、 它 的 架构 和 核心 概念 。 在 本 章 ， 我 们 将 深入 入 探究 ElasticSearch 的 
Query DSL 相 关内 容 。 在 学 习 高 级 查询 之 前 还 是 先 了 解 一 下 Lucene 的 打分 公式 。 通 过 本 章 内 
容 的 学 习 ， 我 们 将 学 习 到 : 

e Apache Lucene 的 打分 公式 是 如 何 工 作 的 

° 查询 重 写 机 制 是 什么 

° 查询 的 重 排序 是 如 何 工作 的 

° 在 一 个 请 求 中 如 何 发 送 多 个 近 实 时 数据 获取 命令 

° 在 一 个 请 求 中 如 何 发 送 多 条 查询 语句 

° 结果 集中 有 内 上 散文 档 和 多 值 域 文 档 时 如 何 进 行 排序 
如 何 更 新 已 经 添加 到 索引 中 的 文档 
如 何 使 用 filter 机 制 优化 我 们 的 查询 
如 何在 ElasticSearch 的 faceting 功 能 中 使 用 filters 和 scopes 


Lucene 默 认 的 打分 算法 


当 谈 论 到 查询 的 相关 性 ， 很 重要 的 一 件 事 就 是 对 于 给 定 的 查询 语句 ， 如 何 计算 文档 得 
分 。 首 先 要 弄 清楚 的 是 文档 得 分 是 什么 。 文 档 得 分 是 一 个 用 来 描述 查询 语句 和 文档 之 间 匹 配 
程度 的 变量 。 在 本 节 ， 我 们 将 学 习 Lucene 默 认 的 打分 机 制 : TF/IDF(term frequencylinverse 
document frequecy) 算 法 ， 以 及 它 是 如 何 对 相关 文档 进行 打分 排序 。 理 解 默认 的 打分 算法 对 
设计 复杂 查询 语句 来 说 至 关 重 要 ， 特 别 是 在 决定 各 个 查询 子 句 权重 的 时 候 。 


匹配 文档 的 打分 因子 


当 一 个 文档 出 现在 了 搜索 结果 中 ， 这 就 意味 着 该 文档 与 用 户 给 定 的 查询 语句 是 相 匹 配 
的 。Lucene 会 对 匹配 成 功 的 文档 给 定 一 个 分 数 。 至 少 从 Lucene 这 个 层面 ， 从 打分 公式 的 结果 
来 看 ， 分 数值 越 高 ， 代 表 文档 相关 性 越 高 。 自然而然， 我 们 可 以 得 出 : 两 个 不 同 的 查询 语句 
对 同一 个 文档 的 打分 将 会 有 所 不 同 ， 但 是 比较 这 两 个 得 分 是 没有 意义 的 。 用 户 需 要 记 住 的 
是 : 我 们 不 仅 要 避免 去 比较 不 同 查 询 语 名 对 同一 个 文档 的 打分 结果 ， 还 要 避免 比较 不 同 查 询 
语句 对 文档 打分 结果 的 最 大 值 。 这 是 因为 文档 的 得 分 是 多 个 因素 共同 影响 的 结果 ， 不 仅 有 权 
重 (boosts) 和 查询 语句 的 结构 起 作用 ， 还 有 匹配 关键 词 的 个 数 ， 关 键 词 所 在 的 域 ， 查 询 归 一 化 
因子 中 用 到 的 匹配 类 型 ...... 。 在 极端 情况 下 ， 只 是 因为 我 们 用 了 自 定义 打分 的 查询 对 象 或 者 
由 于 倒 排 索引 中 词 的 动态 变化 ， 相 似 的 查询 表达 式 对 于 同一 个 文档 都 会 产生 截然 不 同 的 打 


分 。 
暂时 还 是 先 回来 继续 探讨 打分 机 制 。 为 了 计算 出 一 个 文档 的 得 分 ， 我 们 必须 考虑 如 下 的 
因素 : 
° 文档 权重 (Document boost) : 在 索引 时 给 某 个 文档 设置 的 权重 值 。 


° BHA É (Field boost) : 在 查询 的 时 候 给 某 个 域 设置 的 权重 值 。 

° 调整 因子 (Coord) : 基于 文档 中 包含 查询 关键 词 个 数 计算 出 来 的 调整 因子 。 一 般 而 
言 ， 如 果 一 个 文档 中 相 比 其 它 的 文档 出 现 了 更 多 的 查询 关键 词 ， 那 么 其 值 越 大 。 

° 逆 文 档 频率 (Inerse document frequency) : 基于 Term 的 一 个 因子 ， 存 在 的 意义 是 告 
诉 打 分 公式 一 个 词 的 稀有 程度 。 其 值 越 低 ， 词 越 稀 有 (这 里 的 值 是 指 单纯 的 频率 ， 即 多 少 
个 文档 中 出 现 了 该 词 ; 而 非 指 Lucene 中 idf 的 计算 公式 )。 打 分 公式 利用 这 个 因子 提升 包含 
稀有 词 文档 的 权重 。 

° 长 度 归 一 化 (Length norm): 基 于 域 的 一 个 归 一 化 因子 。 其 值 由 给 定 域 中 Term 的 个 数 
决定 (在 索引 文档 的 时 候 已 经 计算 出 来 了 ， 并 且 存 储 到 了 索引 中 )。 域 越 的 文本 越 长 ， 因 子 
的 权重 越 低 。 这 表明 Lucene 打 分 公式 偏向 于 域 包 含 Term 少 的 文档 。 

° 词 频 (Term frequency) : 基于 Term 的 一 个 因子 。 用 来 描述 给 定 Term 在 一 个 文档 中 出 
现 的 次 数 ， 词 频 越 大 ， 文 档 的 得 分 越 大 。 

° 查询 归 一 化 因子 (Query norm) : 基于 查询 语句 的 归 一 化 因子 。 其 值 为 查询 语句 中 每 
一 个 查询 词 权 重 的 平方 和 。 查 询 归 一 化 因子 使 得 比较 不 同 查询 语句 的 得 分 变 得 可 行 ， 当 
然 比较 不 同 查 询 语 句 得 分 并 不 总 是 那么 易于 实现 和 可 行 的 。 


TF/IDF 打 分 公式 


接 下 来 看 看 打分 公式 的 庐山 丨 面目 。 如 果 只 是 为 了 调整 查询 语句 之 间 的 关联 关系 ， 用 户 
不 必 去 理解 它 的 原理 。 但 是 至 少 要 知道 它 是 如 何 工 作 的 。 


Lucene 概 念 上 的 打分 公式 


TF/IDF 公 式 的 概念 版 是 下 面 这 个 样子 的 : 


V(q) * V(d) 


score(q,d) = coord(q,d) * queryBoost(q) * * lengthNorm(d) + docBoost(d) 





IV(q)| 


上 面 的 公式 展示 了 布尔 信息 检索 模型 和 向 量 空间 信息 检索 模型 的 组 合 。 我 们 暂时 不 去 讨 
论 它 ， 直 接见 识 实际 应 用 的 公式 ， 它 是 在 Lucene 实 现 并 且 正 在 使 用 的 公式 。 


RA 关于 信息 检索 中 的 布尔 模型 和 向 量 空间 模型 不 在 本 书 的 知识 范围 。 如 果 想 了 解 
~ 一 更 多 的 相关 知识 ， 可 以 从 

http://en.wikipedia.org/wiki/Standard_Boolean_model 和 

http:/en.wikipedia.org/wiki/Vector_ Space _ Model 里 面 了 解 。 


Lucene 实 际 应 用 的 打分 公式 


现在 看 看 Lucene 实 际 应 用 的 打分 公式 长 啥 样 : 


score(q,d) = coord(q,d) = queryNorm(q) * 3} (tf(t in d) * idf (t)? * boost(t) * norm(t,d)) 





ting 
可 以 看 到 ， 文 档 的 分 数 实 际 上 是 由 查询 语句 q 和 文档 d 作 为 变量 的 一 个 函数 值 。 打 分 公式 
中 有 两 部 分 不 直接 依赖 于 查询 词 ， 它 们 是 coord 和 queryNorm ° 公式 的 值 是 这 样 计算 的 ， 
coord 和 queryNorm 两 大 部 分 直接 乘 以 查询 语句 中 每 个 查询 词 计算 值 的 总 和 。 


另 一 方面 ， 这 个 总 和 也 是 由 每 个 查询 词 的 词 频 (由 ， 逆 文档 频率 (idf)， 查 询 词 的 权重 ， 还 


有 norm， 也 就 是 前 面 说 的 length norm 相 乘 而 得 的 结果 。 


听 上 去 有 些 复 杂 吧 ?不 用 担心 ， 这 些 东 西 不 需要 全 部 记 住 。 用 户 只 需要 知道 在 进行 文档 
打分 的 时 候 ， 哪 些 因 素 是 起 决定 作用 的 就 可 以 了 。 基 本 上 ， 从 前 面 的 公式 中 可 以 提炼 出 以 下 
的 几 个 规则 : 


° 匹配 到 的 关键 词 越 稀 有 ， 文 档 的 得 分 就 越 高 。 
° 文档 的 域 越 小 (包含 比较 少 的 Term)， 文 档 的 得 分 就 越 高 。 


° 设置 的 权重 (索引 和 搜索 时 设置 的 都 可 以 ) 越 大 ， 文 档 得 分 越 高 。 


正如 我 们 所 看 到 的 那样 ，Lucene 会 给 具有 这 些 特征 的 文档 打 最 高 分 : 文档 内 容 能 够 匹配 
到 较 多 的 稀有 的 搜索 关键 词 ， 文 档 的 域 包 含 较 少 的 Term， 并 且 域 中 的 Term 多 是 稀有 的 。 


Javadocs 中 的 TFIDFSimilarity 类 ， 访 问 网 址 : 
http:WIucene.apache.org/core/4 5 0O/core/org/apache/lucene/search/similariti 


es/TFIDFSimilarity.html. : < 
从 ElasticSearch 的 角度 看 打分 排序 


最 为 重要 的 是 利用 Lucene 构 建 起 来 的 ElasticSearch 允 许 用 户 修 改 默 认 的 打分 算法 (了 解 更 
多 相关 的 知识 请 参考 第 3 章 索引 底层 控制 中 修改 Lucene 打 分 算法 一 节 的 内 容 )。 但 是 要 记 
住 ，ElasticSearch 不 仅仅 是 Lucene 简 单 的 封装 ， 因 为 在 ElasticSearh 中 ， 文 档 排序 并 非 完全 
依赖 于 Apache Lucene 的 打分 算法 。ElasticSearch 中 实现 了 多 种 不 同 的 查询 类 型 ， 这 些 查询 
类 型 可 以 完全 控制 文档 打分 的 计算 方式 (比如 custom_boost facotr query,constant_score 
query,custom_score query)，ElasticSearch 允 许 通 过 脚本 定制 文档 的 打分 方式 。 用 户 可 以 利 
用 ElasticSearch 0.90 版 本 支持 的 重 排序 (rescore) 机 制 ， 重 新 计算 搜索 到 的 文档 。 也 可 以 通过 
其 它 的 查询 方式 处 理 topN 结果 集 ， 不 一 而 足 。 


ES 了 解 更 多 关于 Apache Lucene TF/IDF 打 分 公式 ， 请 关注 Apache Lucene 


° 上 比如 : 
http:WIucene.apache.org/core/4 5 _ 0/queries/org/apache/lucene/queries/pack 
age-summary.html. 


E= 了 解 更 多 关于 Apache Lucene 的 query 类 型 ， 请 参考 相关 的 Javadocs 


查询 重 写 机 制 


如 果 你 曾经 使 用 过 很 多 不 同 的 查询 类 型 ， 比 如 前 组 查询 和 通配符 查询 ， 从 本 质 上 上 ， 任 
何 的 查询 都 可 以 视 为 对 多 个 关键 词 的 查询 。 可 能 用 户 听 说 过 查询 重 写 (query rewrite) ° 
ElasticSearch( 实 际 上 是 Apache Lucene 很 明显 地 ) 对 用 户 的 查询 进行 了 重 写 ， 这 样 做 是 为 了 保 
证 性 能 。 整 个 重 写 过 程 是 把 从 Lucene 角 度 认 为 原始 的 、 开 销 大 的 查询 对 象 转变 成 一 系列 开销 
小 的 查询 对 象 的 一 个 过 程 。 


以 前 级 查询 为 例 


展示 查询 重 写 内 部 运作 机 制 的 最 好 方法 是 通过 一 个 例子 ， 查 看 例子 中 用 户 输 入 的 原 查 询 
语句 中 的 term 在 内 部 被 什么 Term 所 取代 。 假 定 我 们 的 索引 中 有 如 下 的 数据 : 


curl -XPUT 'localhost:9200/clients/client/1' -d 


{ 

"id":"1","Name":"Joe" 
y 
curl -XPUT 'localhost:9200/clients/client/2' -d 
{ 

"id":"2" "name":"Jane" 
y 
curl -XPUT 'localhost:9200/clients/client/3' -d 
{ 

"id":"3","Name":"Jack" 
y 

curl -XPUT 'localhost:9200/clients/client/4' -d 
{ 

"id":"4" "name":"Rob" 

y: 

curl -XPUT 'localhost:9200/clients/client/5' -d 
{ 

"id":"5" "name":"Jannet" 

y 


”源码 下 载 
所 有 购买 了 Packt 出 版 的 图 书 的 读者 都 可 以 用 自己 的 账户 从 
http://www.packtpub.com. 下 载 源 代码 文件 。 如 果 读 者 通过 其 它 的 途径 下 载 本 
书 ， 则 需要 通过 http://www.packtpub.com/support 来 注册 账号 ， 然 后 网 站 会 把 


源码 通过 e-mail 发 送 到 你 的 邮箱 。 
我 们 的 目的 是 找到 所 有 以 字符 j 开头 的 文档 。 这 个 需求 非常 简单 ， 在 client 索 引 上 运行 如 
下 的 查询 表达 式 : 


curl -XGET 'localhost:9200/clients/_search?pretty' -d 'í 
"query" : í 
"prefix" : í 


a 
"rewrite" : "constant score boolean" 


"name 


我 们 用 的 是 一 个 简单 的 前 级 查询 ; 前 面 说 过 我 们 的 目的 是 找到 符合 以 下 条 件 的 文档 : 
name 域 中 包含 以 字符 j 开头 的 Term。 我 们 用 rewrite 参 数 来 指定 重 写 查 询 的 方法 ， 关 于 该 参数 
的 取 值 我 们 稍 后 讨论 。 运 行 前 面 的 查询 命令 ， 我 们 得 到 的 结果 如 下 : 
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ay. 
"hits" : í 
"total" : 4, 


"max_score" : 1.0, 


"hie sfa 


_index" : 


"_type" : "client", 


"_id" Ë "5", 


b { 


_index" : 


"_type" : "client", 


"_id" : "4 Ç: 


b ( 


_index" : 


" type": "client", 


"_id" š "2" 


},{ 


_index" : 


"_type" : "client", 


"_id" : ”5 


} 


查询 重 写 机 制 


_score" : 1.0, "_source" 


score" : 1.0, "_source" 


score" : 1.0, "_source" 


score" : 1.0, "_source" 


:{"id":"5S","name":"Jannet"} 


Cd": "name":"Joe") 


E "id": "2" "name":"Jane") 


: {"id":"3", "name":"Jack"} 
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重 排序 


批 处 理 


查询 结果 的 排序 


update API 


使 用 filters 优 化 查询 


filters 和 scope 在 ElasticSearch Faceting 模 块 的 应 用 


第 4 草 探 完 分 布 式 索引 架构 


在 前 面 的 章节 里 ， 我 们 已 经 学 习 了 如 何 使 用 不 同 的 打分 公式 ， 也 了 解 了 使 用 这 些 打 分 公 

式 的 好 处 。 我 们 也 学 习 了 何如 使 用 不 同 的 倒 排 表 结 构 来 改变 索引 数据 的 方式 。 此 外 ， 我 们 也 
学 习 了 自如 应 用 近 实 时 搜索 和 数据 实时 获取 (real-time GET), 了 解 了 检索 器 (searcher) 重 启 
(reopen) 背 后 的 意义 。 我 们 也 探讨 了 多 语言 数据 的 处 理 ， 也 学 习 了 配置 事务 日 志 来 实现 业务 需 
求 。 最 后 ， 我 们 学 习 段 合并 (segments merging)、 合 并 策略 和 合并 任务 执行 计划 相关 的 知识 。 
在 本 章 ， 读 者 将 了 解 如 下 的 知识 : 

° 如 何 为 集群 选择 合适 的 分 片 (shard) 和 分 片 副本 (replica) 的 数量 

° 路 由 是 什么 ， 路 由 对 ElasticSearch 起 着 什么 样 的 作用 

° ShardAllocator 是 如 何 工作 的 ， 如 何 配置 它 

° 如 何 根 据 业 务 需 求 来 调整 分 片 分 发 机 制 


° 如 何 选 择 合适 的 分 片 来 执行 相关 的 命令 
° Ae E| 25 LA 63 26 48 Bo 8 — = & 3: 3k $ 3) 28 A $Ë 


。 ”数据 和 搜索 并 发 量 增长 时 如 何 应 对 


选择 恰当 的 分 片 数 量 和 分 片 副 本 数量 


最 开始 使 用 ElasticSearch 时 ， 一 般 都 是 创建 一 个 索引 ， 导 入 数据 ， 然 后 发 送 查 询 命 令 检 
索 数 据 。 我 们 确信 系统 运行 庚 子 ， 至 少 在 最 开始 ， 数 据 量 不 大 而 且 QPS(Query Per Second) 
也 不 高 的 时 候 运 行 良 好 。 在 幕后 ，ElasticSearch 创 建 了 一 些 分 片 来 存储 数据 ， 也 可 能 还 会 创 
建 分 片 副本 (例如 ， 如 果 用 默认 配置 )， 而 且 用 户 在 配置 方面 也 不 用 过 多 地 操心 。 


当 应 用 程序 规模 增长 起 来 ， 越 来 越 多 的 数据 需要 进行 索引 ，QPS 也 变 得 越 来 越 高 。 这 个 
时 候 ， 量 变 就 引起 质变 了 。 慢 慢 地 问题 也 就 出 现 了 (读者 可 以 阅读 知识 的 灵活 运用 一 节 的 内 容 
来 了 解 应 用 程序 规模 增长 的 对 应 方法 ) 。 这 时 候 ， 就 该 思想 如 何 规划 索引 数据 、 优 化 配置 使 得 
应 用 程序 的 处 理 能 力 与 规模 增长 相同 步 。 在 本 章 ， 作 者 将 给 出 一 些 应 对 相关 问题 的 指导 方 
针 。 然 而 对 应 问题 并 没有 一 个 统一 的 标准 ， 不 同 的 应 用 场景 有 着 不 同 的 特点 和 需求 ， 这 些 特 
点 和 需求 不 仅 体现 在 索引 结构 上 ， 同 时 也 体现 在 配置 上 面 。 例 如 : 整个 索引 的 数据 规模 、 查 
询 类 型 、 预 期 的 吞吐 量 都 是 不 尽 相同 的 。 


分 片 和 过 度 分 配 (over allocation) 


关于 索引 分 片 ， 在 第 一 章 认识 ElasticSearch 里 面 已 经 有 介绍 ， 这 里 简单 回顾 一 下 。 索 引 
分 片 就 是 把 索引 数据 切 分 成 多 个 小 的 索引 块 ， 这 些小 的 索引 块 能 够 分 发 到 同一 个 集群 中 的 不 
同 节点 。 在 检索 时 ， 检 索 的 结果 是 该 索引 每 个 分 片上 检索 结果 的 总 和 (尽管 在 某 些 场景 中 "总 
和 ”并 不 成 立 : 单个 分 片 有 可 能 存储 了 所 有 的 目标 数据 )。 默 认 情 况 下 ，ElasticSearch 会 为 每 个 
索引 创建 5 个 主 分 片 ， 就 算是 单 结 点 集群 亦 是 如 此 。 像 这 样 的 宛 余 就 称 为 过 度 分 配 : 这 种 场景 
下 ， 这 种 分 配方 式 似 乎 是 多 此 一 举 ， 而 且 只 会 在 索引 数据 (把 文档 分 发 到 多 个 分 片上 ) 和 检索 
(必须 从 多 个 分 片上 查询 数据 然后 全 并 结果 ) 的 时 候 增 加 复杂 度 ， 乐 享 其 成 的 是 ， 这 些 复杂 的 事 
情 是 自动 处 理 的 ， 但 是 为 什么 ElasticSearch 要 这 样 做 呢 ? 


假定 我 们 有 一 个 构建 在 单个 分 片上 的 索引 。 这 意味 着 如 果 我 们 的 应 用 程序 规模 增长 到 单 
机 无 法 处 理 的 情况 下 时 ， 问 题 就 来 了 。 当 索引 中 有 数据 时 ， 当 前 版 本 的 ElasticSearch 是 无 法 
将 分 片 中 的 数据 切 分 成 多 个 小 块 的 : 我 们 只 能 在 创建 索引 的 时 候 指定 好 分 片 的 数量 。 唯 一 的 
解决 办 法 就 是 重新 创建 一 份 多 个 分 片 的 索引 ， 然 后 将 原来 的 数据 重新 索引 (动词 ) 到 新 的 索引 
(名 词 ) 中 。 然 而 这 样 的 处 理 方案 需要 时 间 和 服务 器 资源 ， 比 如 CUP 时 间 、 内 存 、 大 容量 存储 
器 。 而 有 全 有 可 能 我 们 并 没有 时 间 和 上 面 提 到 的 那些 资源 。 换 个 角度 ， 通 过 使 用 过 度 分 配 策 
略 ， 我 们 可 以 在 必要 的 时 候 添加 一 台新 的 安装 了 ElasticSearch 的 服务 器 。 当 新 的 节点 添加 进 
来 时 ，ElasticSearch 会 自动 对 集群 进行 负载 均衡 ， 在 不 需要 重新 索引 数据 的 前 提 下 将 部 分 索 
引 数 据 转 移 到 新 的 机 器 上 。ElasticSearch 作 者 设置 的 默认 配置 (5 个 主 分 片 和 一 个 分 片 副 本 ) 是 
权衡 了 数据 增长 的 可 能 性 和 合并 不 同 分 片 数 据 的 最 终 开 之 后 的 最 终 选 择 。 


默认 配置 适用 于 大 部 分 场合 。 那 么 问题 来 了 : 当 我 们 在 什么 时 个 需要 增加 或 者 减少 分 片 
数量 ， 让 分 片 数量 尽 可 能 少 一 些 ? 


第 一 个 问题 的 答案 显而易见 。 如 果 数据 集 的 大 小 有 限制 而 且 严 格 定义 好 的 ， 可 以 只 使 用 
一 个 分 片 。 如 果 不 是 的 ， 大 拇指 法 则 表明 最 佳 的 分 片 数 量 取决 于 节点 数量 。 所 以 ， 如 果 计 划 
将 会 到 10 个 节点 ， 那 么 就 需要 配置 10 个 分 片 。 需 要 记 住 的 重点 是 : 考虑 到 高 可 用 性 和 吞吐 
量 ， 分 片 副 本 也 是 需要 声 配置 的 。 分 片 副本 像 普通 分 片 一 样 也 占用 空间 。 如 果 为 每 个 分 片 指 
定 一 个 拷贝 (number_of_shards =1 ), 那 么 就 需要 20 个 分 片 : 10 个 主 分 片 和 10 个 分 片 副 本 。 这 
个 简单 的 公式 可 以 总 结 如 下 : 


Max number of nodes = Number of shards * (number of replicas +1) 


换 名 话说， 如 果 你 计划 用 10 个 分 片 和 2 个 分 片 副 本 ， 那 么 最 大 的 节点 数 是 30 ° 


一 个 关于 过 度 分 配 的 正 例 


如 果 读 者 仔细 阅读 了 本 章 前 面部 分 的 内 容 ， 应 该 确信 配置 最 小 数量 的 分 片 是 明智 的 选 

择 。 但 是 有 时 分 配 更 多 的 分 片 却 比较 方便 ， 因 为 每 个 分 片 都 是 独立 的 Lucene 索 引 ， 更 多 的 分 
片 意味 着 在 单个 较 小 的 索引 上 进行 操作 (特别 是 数据 索引 操作 ) 会 比较 高 效 。 对 于 有 的 应 用 场景 
来 说 ， 上 文 是 选择 多 分 片 不 错 的 理由 。 当 然 多 分 片 同 时 也 带 了 额外 的 开销 : 分 发 搜索 命令 到 
每 个 分 片 以 及 分 片 结果 的 合并 。 这 个 开销 在 某 些 特定 的 应 用 场景 是 可 以 避免 的 ， 这 类 应 用 场 
景 的 一 个 特点 是 : 查询 命令 总 是 会 被 具体 的 参数 过 滤 。 像 多 租户 系统 ， 每 个 查询 命令 都 被 限 
定 在 确定 用 户 上 下 文中 。 解 决 问题 的 思想 很 简单 : 把 每 个 用 户 的 数据 都 存储 在 一 个 分 片上 ， 
而 且 只 在 查询 的 时 候 使 用 该 分 片 。 这 也 是 ElasticSearch 的 路 由 功能 大 显 身手 的 地 方 (我 们 将 在 
本 章 的 路 由 功能 浅 谈 一 节 详 细 讨 论 这 一 知识 点 )。 


多 分 片 vs 多 索引 


也 许 读者 会 感到 疑惑 ， 如 果 说 分 片 实际 上 是 一 段 小 的 Lucene 索 引 ， 那 么 丨 实 的 
ElasticSearch £ 5| 44L %, ? 它们 之 间 的 区 别 是 什么 呢 ? 从 技术 上 来 说 ， 它们 是 一 样 的 ， 但 
是 会 有 一 个 额外 的 特性 只 能 工作 在 多 索引 或 者 多 分 片 结构 上 。 对 于 数据 分 片 ， 可 以 通过 路 由 
功能 或 者 在 指定 的 分 片上 执行 查询 命令 功能 实现 将 查询 命令 定位 到 特殊 的 分 片上 去 。 对 于 多 
索引 结构 ， 更 通用 的 机 制 在 于 多 索引 地 址 的 处 理 上 ， 查 询 语句 可 以 通过 /index1,index2.../ 符 号 
联合 多 个 索引 进行 查询 。 在 查询 时 ， 用 户 也 可 以 通用 使 用 别名 (aliasing) 特 性 将 多 个 索引 以 一 
个 索引 的 方式 呈现 给 用 户 ， 索 引 分 片 时 也 可 以 用 别名 这 个 功能 。 在 负载 均衡 处 理 逻 辑 上 ， 容 
易 发 现 两 者 之 间 更 多 的 不 同 点 ， 然 而 自动 化 程度 较 低 的 多 索引 可 以 在 索引 数据 时 ， 以 通过 人 
工 操作 强行 将 多 个 索引 部 署 在 一 个 节点 上 的 方式 部 分 地 隐藏 这 一 点 。 


分 片 副本 


索引 分 片 机 制 用 来 存储 超过 单个 节点 存储 容量 的 数据 ， 分 片 副 本 用 来 应 对 不 断 攀 升 的 吞 
吐 量 以 及 确保 数据 的 安全 性 。 当 一 个 节点 的 主 分 片 丢 失 ，ElasticSearch 可 以 把 任意 一 个 可 用 
的 分 片 副 本 推举 为 主 分 片 。 在 默认 情况 下 ，ElasticSearch 会 创建 一 个 分 片 副 本 。 然 而 分 片 副 
本 的 数量 可 以 通过 设置 相关 的 API 随 时 更 新 ， 这 一 点 与 主 分 片 是 不 同 的 。 分 片 副 本 的 动态 更 新 


功能 使 得 创建 应 用 程序 时 十 分 方便 ， 查 询 矢 吐 量 可 以 随 着 分 片 副 本 数量 的 增加 而 增长 ， 与 此 
同时 ， 使 用 分 片 副本 还 可 以 处 理 查询 的 发 并 量 。 使 用 分 片 副 本 的 缺点 也 是 显而易见 的 : 额外 
的 存储 空间 开销 ， 从 主 分 片 复制 数据 到 分 片 副 本 时 的 开销 。 选 定 分 片 副本 的 数量 时 ， 还 需要 
考虑 到 现 阶 段 需要 多 少 副 本 。 如 果 分 片 副本 的 数量 大多， 那么 就 会 浪费 存储 空间 和 
ElasticSearch 的 资源 ， 实 际 上 一 些 分 片 副本 并 没有 起 作用 。 相 反 地 ， 如 果 没 有 设置 分 片 副 
本 ， 如 果 主 分 片 出 现 了 故障 ， 数 据 就 会 丢失 。 


路 由 功能 浅 谈 


在 本 章 选择 恰当 的 分 片 数量 和 分 片 副 本 数量 一 节 中 ， 已 经 提 到 使 用 路 由 功能 可 以 只 在 一 
上 执行 


个 分 片上 执行 查询 命令 ， 作 为 提高 系统 知 吐 量 的 一 种 解决 方案 。 接 下 来 作者 将 详细 地 介绍 这 
一 功能 。 


分 片 和 分 片 中 数据 


通常 情况 下 ，ElasticSearch 是 如 何 把 数据 分 发 到 各 个 分 片 中 ， 哪 个 分 片 存储 哪 一 类 的 文 
档 等 细节 并 不 重要 。 因 为 查询 时 ， 将 查询 命令 分 发 到 每 个 分 片 就 OK 了 。 唯 一 的 关键 点 在 于 算 
法 ， 将 数据 均等 地 分 配 到 各 个 分 片 的 算法 。 在 删除 或 者 更 新 文档 时 ， 情 况 就 会 变 得 有 点 复杂 
了 。 实 际 上 ， 这 也 不 是 什么 大 问题 。 只 要 保证 分 片 算法 在 处 理 文档 时 ， 对 于 相同 的 文档 标识 
生成 相同 的 映射 值 就 可 以 了 。 如 果 我 们 有 这 样 的 分 片 算 法 ，ElasticSearch 就 知道 在 处 理 文档 
时 ， 如 何 定位 到 正确 的 分 片 。 但 是 ， 在 选择 文档 的 存储 分 片 时 ， 采 用 一 个 更 加 智能 的 办 法 不 
就 更 省 事 儿 了 吗 ? 比如 ， 把 某 一 特定 类 型 的 书籍 存储 到 特定 的 分 片上 去 ， 这 样 在 搜索 这 一 类 
书籍 的 时 候 就 可 以 避免 搜索 其 它 的 分 片 ， 也 就 避免 了 多 个 分 片 搜索 结果 的 合并 。 这 就 是 路 由 
功能 (routing) 的 用 武之 地 。 路 由 功能 向 ElasticSearch 提 供 一 种 信息 来 决定 哪些 分 片 用 于 存储 和 
查询 。 同 一 个 路 由 值 将 映射 到 同一 个 分 片 。 这 基本 上 就 是 在 说 :“ 通 过 使 用 用 户 提供 的 路 由 
值 ， 就 可 以 做 到 定向 存储 ， 定 向 搜索 。” 


路 由 功能 的 简单 应 用 


我 们 将 通过 一 个 例子 来 说 明 ElasticSearch 是 如 何 分 配 分 片 ， 哪 些 文档 会 存储 在 特定 的 分 
片上 这 一 过 程 ， 为 了 使 细节 更 清楚 ， 我 们 借助 一 个 第 三 方 插件 。 这 个 插件 将 帮助 我 们 更 生动 
形象 地 了 解 ElasticSearch 处 理 数 据 的 过 程 。 用 如 下 的 命令 来 安装 插件 : 


bin/plugin -install karmi/elasticsearch-paramedic 


重启 ElasticSearch 后 ， 用 浏览 器 打开 http://localhost:9200/_plugin/paramedic/index.html 
我 们 将 能 看 到 显示 索引 的 各 种 信息 的 统计 结果 的 页 面 。 例 如 : 最 值得 关注 的 信息 是 集群 的 状 
态 和 每 个 索引 下 分 片 及 分 片 副本 的 相关 信息 。 
启动 两 个 节点 的 ElasticSearch 集 群 ， 用 如 下 的 命令 创建 索引 : 
curl -XPUT localhost:9200/documents -d 'í 
settings: í 


number\ oN, replicas: 0, 
number\ ofN shards: 2 
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我 们 创建 了 具有 2 个 分 片 0 个 分 片 副本 的 索引 。 这 意味 着 该 集群 最 多 有 两 个 结 点 ， 多 余 的 
节点 无 法 存储 数据 ， 除 非 我 们 增加 分 片 副 本 的 数量 (读者 可 以 回顾 本 章 选择 恰当 的 分 片 数 量 和 
分 片 副 本 数量 一 节 内 容 了 解 相 关 知 识 )。 创 建 索引 后 ， 下 一 步 的 操作 就 是 添加 数据 了 。 我 们 用 
如 下 的 命令 来 进行 数据 添加 : 


curl -XPUT localhost:9200/documents/doc/1 -d '{ "title" : "Document No. 1" )' 
curl -XPUT localhost:9200/documents/doc/2 -d '{ "title" : "Document No. 2" y 
curl -XPUT localhost:9200/documents/doc/3 -d '{ "title" : "Document No. 3" )' 
curl -XPUT localhost:9200/documents/doc/3 -d '{ "title" : "Document No. 4" y 


添加 数据 完成 后 ，Paramedic 插 件 显示 集群 中 存在 两 个 分 片 ， 截 图 如 下 : 
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在 节点 所 呈现 的 信息 中 ， 我 们 一 样 能 够 找到 值得 关注 的 信息 。 集 群 中 的 每 个 节点 都 存储 
着 两 个 文档 ， 这 让 我 们 容易 得 出 如 下 的 结论 : 分 片 算法 完美 地 完成 了 数据 分 片 的 任务 ; 集群 
中 有 一 个 由 两 个 分 片 构 建成 的 索引 ， 索 引 对 每 个 分 片 中 文档 的 数量 进行 了 均等 分 配 。 


现在 我 们 做 一 些 破坏 ， 关 闭 一 个 节点 。 用 Paramedic 插 件 ， 我 们 将 看 到 类 似 下 图 的 截图 : 


documents 
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我 们 关注 的 第 一 条 信息 是 集群 的 状态 已 经 变 成 了 红色 状态 。 这 意味 着 至 少 有 一 个 主 分 片 
已 经 丢失 ， 这 就 表明 有 一 部 分 数据 已 经 失效 ， 同 时 有 一 部 分 索引 也 失效 了 。 尽 管 如 此 ， 在 
ElasticSearch 集 群 上 仍然 可 以 进行 查询 操作 。ElasticSearch 集 群 把 决定 权 交 给 了 开发 者 : 决 
定 返 回 给 用 户 不 完整 的 数据 还 是 阻塞 用 户 查 询 。 先 看 看 查询 命令 的 返回 结果 吧 : 
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"took" : 30, 
"timed\ out" : false, 
"shards" : í 
"total" : 2, 
"successful" : 1, 
"failed" : 1, 
"failures" : [ í 
"index" : "documents", 
"shard": 1, 
"status" : 500, 
"reason" : "No active shards" 
}] 
b 


"hits" : í 

"total" : 2, 

"max\_score" : 1.0, 

"hits": [{ 
"V index" : "documents", 
" type": "doc", 
"Lid" : "1", 
"V score": 1.0, \ source" : í "title" : "Document No. 1" } 


}{ 
"V index" : "documents", 
" type": "doc", 
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"V score": 1.0, "NV source": í "title" : "Document No. 3") 
)] 
}} 


正如 你 所 看 见 的 那样 ，ElasticSearch 返 回 了 分 片 失效 的 信息 。 我 们 看 到 分 片 1 失 效 。 在 返 
回 的 结果 集中 ， 我 们 只 看 到 了 |D 为 1 和 3 的 文档 。 至 少 在 主 分 片 1 重 新 连接 到 集群 之 前 ， 其 它 的 
文档 丢失 。 如 果 重 新 启动 第 二 个 节点 ， 经 过 一 段 时 间 ( 取 决 于 网 络 情况 和 gateway 模 块 的 参数 
设置 )， 集 群 将 返回 绿色 状态 ， 而 且 整 个 索引 中 的 文档 都 可 用 。 接 下 来 ， 我 们 将 用 路 由 功能 
(routing) 来 做 与 上 面 一 样 的 事情 ， 并 观察 两 者 在 集群 中 的 不 同 点 。 


局 用 路 由 功能 (routing) 索 引 数 据 


通过 路 由 功能 ， 用 户 能 够 控制 ElasticSearch 用 哪个 分 片 来 存储 文档 。 路 由 的 参数 值 是 无 
关 紧 要 的 ， 可 以 由 用 户 随 意 给 出 。 关 键 点 在 于 相同 的 参数 值 应 该 用 来 把 不 同 的 文档 导向 同一 


个 分 片 。 


将 路 由 参数 信息 写 入 到 ElasticSearch 中 有 多 种 方式 ， 最 简单 的 一 种 是 在 索引 文档 的 时 候 
提供 一 个 routingURL 参数 。 比 如 : 


curl -XPUT localhost:9200/documents/doc/1?routing=A -d { "title":"Document" }' 
另外 一 种 方式 就 是 在 创建 文档 时 把 \、routing 域 放 进 去 : 

curl -XPUT localhost:9200/documents/doc/1 -d '{ "title":"Document","\ routing":"A" y 
然而 这 种 方式 只 有 在 mapping 中 定义 了 \_routing 域 才 会 生效 。 例 如 : 


"mappings": í 
"doc": í 
"routing": í 
"required": true, 
"path": "V routing" 


}, "properties": í 
"title" : ("type": "string" } 


让 我 们 在 这 里 停留 一 下 。 在 本 例 中 ， 我 们 用 到 了 \_routing 域 。 值 得 一 提 的 是 path 参 数 可 以 
指向 文档 中 任何 not-analyzed 域 。 这 是 一 个 非常 强大 的 特性 。 例 举 routing 特 性 的 一 个 主要 的 优 
点 : 比如 我 们 在 文档 中 定义 了 library\_id 域 ， 用 来 表示 书籍 所 在 的 藏书 室 编 号 。 当 我 们 基于 
library\_id 域 来 实现 路 由 功能 ， 基 于 该 藏书 室 检 索 相 关 图 书 将 使 检索 过 程 更 高 效 ， 这 样 做 也 是 
合乎 逻辑 的 。 

现在 ， 我 们 回 过 头 来 继续 讨论 routing 值 的 定义 方式 。 最 后 一 个 办 法 是 使 用 批 处 理 索 引 。 
在 下 面 的 例子 中 ，routing 被 放置 到 每 个 文档 的 头 部 信息 块 中 。 例 如 : 

curl -XPUT localhost:9200A_bulk --data-binary '{ 

"index" : { 

"index" : "documents", "N type" : "doc", "\_routing" : "A" 


} 
}{ "title" : "Document No. 1")' 
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尼 用 路 由 功能 (routing) 索 引 数 据 


现在 ， 我 们 对 照 前 面 的 例子 ， 依 样 画 戎 芦 ， 除 了 一 点 不 一 样 ， 那 就 是 使 用 路 由 功能 
(routing) 。 第 一 件 事 就 是 删除 所 有 器 的 文档 。 如 果 不 清空 索引 数据 ， 在 添加 id 相同 的 文档 到 索 
引 中 时 ， o 文档 写 入 到 其 它 的 分 片上 (经 验证 : 索引 中 会 存在 id 一 样 的 两 
个 文档 ， 只 不 过 在 不 同 的 分 片 中 )。 因 此 ， 运 行 如 下 的 命令 清空 索引 数据 : 


curl -XDELETE localhost:9200/documentsA_query?q=*:* 


经 过 这 一 步 ， 我 们 重新 索引 数据 。 但 是 这 次 要 添加 上 routing 信 息 。 因 此 索引 数据 的 命令 
如 下 : 


curl -XPUT localhost:9200/documents/doc/1?routing=A -d 'í "title" : "Document No. 1" )' 
curl -XPUT localhost:9200/documents/doc/2?routing=B -d 'í "title" : "Document No. 2" Y 
curl -XPUT localhost:9200/documents/doc/3?routing=A -d 'í "title" : "Document No. 3" )' 
curl -XPUT localhost:9200/documents/doc/4?routing=A -d 'í "title" : "Document No. 4" )' 


routing 参 数 指挥 ElasticSearch 把 携带 该 参数 的 文档 放 到 特定 的 分 片 中 。 当 然 这 也 并 不 意 
味 着 routing 参 数值 不 同 的 文档 会 被 放置 到 不 同 的 分 片 中 。 但 是 在 我 们 的 例子 中 ， 文 档 数 目 不 
多 ，routing 参 数 不 同 ， 文 档 所 在 的 分 片 也 会 不 同 。 读 者 可 以 在 Paramedic 页 面 上 验证 : 两 个 节 
点 中 一 个 节点 上 只 有 一 个 文档 ( 它 的 routing 值 是 B)， 另 一 个 节点 中 有 3 个 文档 (它们 的 routing 值 
是 A)。 如 果 我 们 关闭 一 个 节点 ，Paramedic 页 面 上 集群 的 状态 将 会 变 成 红色 状态 ， 检 索 所 有 的 
文档 ， 其 结果 如 下 : 
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{ 
"took": 1, 
"timed\ out" : false, 
"shards" : í 
"total" : 2, 
"successful" : 1, 
"failed" : 1, 
"failures" : [{ "index" : "documents", "shard" : 1, "status" : 500, "reason" : 
"No active shards" 
}] 
y, "hits": í 
"total" : 3, 
"max\ score" : 1.0, 
"hits" : [ í 
"V index" : "documents", 
"V type": "doc", 
Le WE a 
"V score": 1.0, "N source" : { "title" : "Document No. 1"} 
},{ 
"index" : "documents", 
"V type" : "doc", 
"Old: sa", 
"V score": 1.0, "V source" : í "title" : "Document No. 3") 
h { 
"V index" : "documents", 
" type": "doc", 
"V id": "a" 
"V score": 1.0, \ source": í "title" : "Document No. 4" ) 
1] 
) 
) 


在 本 例 中 ，id 为 2 的 文档 丢失 了 。 集 群 中 文档 routing 值 为 B 的 节点 失效 。 如 果 运 气 不 好 ， 
关闭 了 另 一 个 节点 ， 我 们 将 丢失 3 个 文档 的 数据 。 
routing 功 能 用 于 检索 


当 我 们 能 够 很 好 的 掌控 routing 机 制 时 ，routing 能 让 我 们 在 的 数据 检索 变 得 更 高 效 。 如 果 
我 们 只 想 从 整个 索引 中 获取 特定 的 部 分 数据 ， 为 什么 还 要 去 一 一 检索 所 有 的 节点 呢 ? 对 于 那 
些 带 routing 参 数值 为 A 的 索引 数据 ， 我 们 只 需 简 单 地 执行 如 下 的 查询 命令 ， 就 可 以 检索 到 它 
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curl -XGET 'localhost:9200/documents/V_search?pretty&q=*:*&routing=A' 


我 们 仅仅 是 在 查询 命令 中 添加 了 一 个 routing 参 数 ， 和 一 个 我 们 感 兴趣 的 参数 值 。 对 于 上 
面 的 命令 ，ElasticSearch 将 返回 如 下 的 结果 : 


{ "took": 1, 
"timed\ out" : false, 
"shards" : í 
"total" : 1, 
"successful" : 1, 
"failed" : 0, 
b 
"hits" : í 
"total" : 3, 
"max\_score" : 1.0, 
"hits" : [{ 
"V index" : "documents", 
" type": "doc", 
"ad 4, 
"V score": 1.0, "N source": { "title" : "Document No. 1" ) 
h 
"V index" : "documents", 
" type": "doc", 
"Lid" : "3", 
"V score": 1.0, "V source" : í "title" : "Document No. 3" } 
}{ 
"V index" : "documents", 
" type": "doc", 
"V id": "4", 
"V score": 1.0, "NV source": { "title" : "Document No. 4" } 
}] 
}} 


一 切 就 像 魔法 一 样 。 但 是 要 注意 ， 我 们 忘记 去 启动 另 一 个 节点 ， 该 节点 上 的 分 片 中 存储 
着 用 routing 值 为 B 索 引 的 文档 。 尽 管 我 们 并 没有 索引 的 全 景 图 ， 但 是 FlasticSearch 的 回复 值 并 
没有 包 — 失效 的 信息 。 这 证 明 带 routing 参 数 的 查询 命令 只 会 到 指定 的 分 片上 获取 数据 ， 
而 忽略 其 它 的 分 片 。 如 果 用 同样 的 命令 ， 带 上 参数 routing=B， 我 们 将 得 到 类 似 如 下 的 异常 信 
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{ "error" : "SearchPhaseExecutionException[Failed to execute phase [query\ fetch], 
total failure; shardFailures {[\_na\_][documents][1]: No active shards}]", "status" : 500 } 


对 于 集群 的 性 能 优化 ，routing 机 制 是 一 个 功能 非常 强大 工具 。 它 让 我 们 能 够 根据 应 用 程 
序 的 数据 分 类 逻辑 将 文档 分 发 到 各 个 分 片 ， 通 过 它 不 仅 节约 服务 器 资源 ， 还 能 构建 出 更 加 快 
捷 的 查询 服务 。 


我 们 还 要 复述 一 个 要 点 : Routing 能 够 确保 在 索引 阶段 把 routing 值 相同 的 文档 分 发 到 相同 
的 分 片上 。 但 是 ， 同 一 个 分 片 可 能 会 有 多 个 不 同 的 routing 值 。Routing 人 允许 我 们 在 查询 的 时 候 
限定 查询 的 节点 数量 ， 但 是 无 法 取代 过 滤 功 能 (filtering) 的 地 位 。 这 意味 着 查询 命令 无 论 是 否 启 
用 routing 功 能 ， 都 应 该 带 有 相同 的 过 滤器 (filters) ° 


别名 功能 


最 后 ， 有 一 个 能 够 简化 routing 功 能 的 特性 值得 一 提 。 如 果 读 者 是 一 个 搜索 引 警 专家， 那 
么 在 开发 中 ， 多 半 会 选择 对 外 隐藏 搜索 引擎 的 配置 细节 ， 以 实现 架构 上 的 解 粮 ， 同 时 程序 员 
在 使 用 中 不 必 关 注 搜 索引 警 的 各 种 细节 ， 以 提升 开发 效率 。 对 于 程序 员 来 说 ， 一 个 理想 的 搜 
索引 擎 就 是 不 必 关 注 fouting、 分 片 、 分 片 副 本 。 通 过 别名 功能 ， 我 们 可 以 像 使 用 普通 的 索引 
一 样 使 用 routing 功 能 。 例 如 : 通过 如 下 的 命令 可 以 创建 一 个 别名 : 


curl -XPOST 'http://localhost:9200/A__aliases' -d ' í 
"actions" : [ 
{ 
"add" : í 
"index" : "documents", 
"alias" : "documentsA", 
"routing" : "A" 


在 前 面 的 例子 中 ， 我 们 创建 了 一 个 虚拟 的 索引 ， 命 名 为 documentsA， 虚 拟 索引 中 的 数据 
都 来 自 于 documents 索引 。 更 重要 的 是 : 搜索 的 分 片 将 被 限制 在 routing 值 为 A 的 分 片 中 。 正 因 
为 有 这 个 特性 ， 只 需要 把 别名 documentsA 提 供给 开发 人 员 ， 他 们 就 能 像 使 用 普通 的 索引 一 样 
进行 查询 和 索引 的 操作 。 从 而 屏蔽 了 相关 的 细节 。 


多 个 routing 值 的 联合 


ElasticSearch 人 允许 在 单个 查询 请 求 中 指定 多 个 routing 值 。 多 个 routing 值 也 就 意味 着 会 在 
多 个 分 片上 搜索 ， 搜 索 哪个 分 片 取决 于 给 定 routing 值 的 文档 会 被 映射 到 哪个 分 片 。 下 面 的 查 
询 命令 就 是 一 个 简单 的 例子 : 


curl -XGET 'localhost:9200/documents/V_search?routing=A,B' 


执行 查询 命令 后 ，ElasticSearch 会 把 搜索 请 求 发 送 到 索引 中 的 所 有 分 片 。 因 为 routing 值 
为 A 代 表 着 索引 的 一 个 分 片 ，routing 值 为 B 代 表 着 索引 的 第 二 个 分 片 ， 而 索引 一 共 只 有 2 个 分 
片 ° 


当前 ， 别 名 也 是 支持 多 个 routing 值 的 。 下 面 的 例子 这 个 特性 


curl -XPOST 'http://localhost:9200/A__aliases' -d ' í 
"actions" : [ 
{ 
"add" : í 

"index" : "documents", 

"alias" : "documentsA", 

"search\ routing" : "A,B", 
"index\_routing" : "A" 


上 面 的 例子 中 用 到 了 两 个 我 们 没有 提 到 的 配置 参数 ， 对 于 搜索 和 索引 两 个 过 程 ， 我 们 可 
以 配置 不 同 的 值 。 上 例 中 ， 我 们 设 定 在 查询 时 (search\ routing 参数 )， 两 个 routing 参 数值 (A 和 
o 到 ; 在 索引 时 (index\_routing 参 数 )， nA ) 会 被 用 到 。 提 示 一 下 ， 索 
引 过 程 是 不 支持 多 个 routing 参 数 ， 要 记得 选择 合适 的 过 滤器 (在 别名 中 也 可 以 配置 该 参数 ) ° 


调整 集群 的 分 片 分 配 


在 ElasticSearch Server 一 书 中 ， 我 们 探讨 了 如 何 强制 改变 分 片 的 分 配方 式 ， 如 何 取 消 、 
如 何 使 用 一 条 API 命 令 在 集群 中 转移 分 片 。 然 而 在 谈论 到 分 片 分 配 时 ，ElasticSearch 人 允许 我 们 
做 的 不 止 如 此 ， 我 们 还 可 以 定义 以 系列 用 于 分 片 分 配 的 规则 。 例 如 ， 假 定 一 个 4- 节 点 的 集群 ， 
图 示 如 下 : 


IP address: 192.168.2.1 IP address: 192.168.2.2 
node.tag: node1 node.tag: node2 
node.group: groupA node.group: groupA 


IP address: 192.168.3.1 IP address: 192.168.3.2 
node.tag: node3 node.tag: node4 
node.group: groupB node.group: groupB 


ElasticSearch cluster 


正如 你 所 看 到 的 一 样 ， 集 群 由 4 个 节点 构成 。 每 个 节点 都 绑 定 了 一 个 特定 的 IP 地 址 ， 同 时 
每 个 节点 也 拥有 tag 属 性 和 group 属 性 (可 以 在 elasticsearch.yml 文 件 中 设置 node.tag 和 
node.group 属 性 )。 集 群 用 来 展示 分 片 分 配 过 滤器 是 如 何 工 作 的 。group 属 性 和 tag 属 性 可 以 用 
任意 其 它 的 名 字 替 换 ， 只 需要 把 node 作 为 自 定义 属性 的 前 缓 即 可 。 比 如 你 喜欢 用 属性 名 ， 
party， 就 只 需要 把 node.party:party1 添 加 到 你 的 elasticsearch.yml 文 件 中 即 可 。 





Allocation awareness 配置 
Allocation awareness 制 允许 用 户 使 用 泛 型 参数 来 配置 分 片 及 分 片 副本 的 分 配 。 为 了 演示 


allocation awareness 的 工作 方式 ， 我 们 使 用 我 们 的 样 例 集 群 。 为 了 集群 的 演示 效果 ， 我 们 在 
elasticsearch.yml 文 件 中 添加 如 下 的 属性 


cluster.routing.allocation.awareness.attributes:group 


这 条 配置 命令 用 来 通知 Elasticsearh 使 用 node.group 属 性 作为 集群 的 awareness 参 数 。 


设置 clusterrouting.allocation.awareness.attributes 属 性 的 参数 时 ， 可 以 指定 多 


N Wx o 比如: 


cluster.routinq.allocation.awareness.attributes:group,no 
参数 设置 好 以 后 ， 我 和 尼 动 两 INFR Dn oA 并 且 用 


如 下 的 命令 创建 索引 : 


IN 


curl -XPOST 'localhost:9200/mastering' -d 'í 
"settings" : { "index" : í 
"number, ofN shards" : 2, 
"number, of\ replicas" :1 


这 个 命令 执行 后 ， 我 们 的 2- 节 点 集群 看 起 来 或 多 或 少 地 类 似 于 下 面 的 图 形 : 





正如 所 看 见 的 那样 ， 索 引 的 分 片 平 均 分 配 到 了 两 个 节点 。 现在， 我 们 看 看 当 启 动 剩 下 
的 两 个 节点 时 (node.group 属 性 值 设 置 为 groupB) 将 会 发 生 什么 





注意 两 者 的 不 同 点 : 主 分 片 并 没有 从 原来 分 配 的 节点 中 移出 ， 反 而 是 分 片 副 本 移动 到 了 
node. a a 同 的 节点 中 ， 这 正 是 我 们 所 希望 的 结果 。 在 集群 中 使 用 了 shard allocation 
awareness 功 能 后 ，ElasticSearch 不 会 把 决定 allocation awareness 的 属性 (在 本 例 中 是 
node. e 同 的 分 片 或 者 分 片 副 本 分 配 到 同一 个 节点 中 。 该 功能 典型 的 用 例 是 把 集群 拓 

扑 结构 部 署 到 物理 机 或 者 虚拟 机 时 ， 确 保 你 的 集群 不 会 出 现 单 点 故障 问题 。 


， 请 记 住 在 使 用 allocation awareness 功 能 时 ， 分 片 不 会 被 分 配 到 没有 设置 相应 属 
N AAA 节点 上 。 所 在 在 我 们 的 案例 中 ， 分 片 分 配 机 制 不 会 考虑 分 配 分 片 到 没有 设 
SS group 属 性 的 节点 。 


Forcing allocation awareness 


(文本 的 描述 不 并 清晰 ， 参 考 


http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules- 
cluster.html， 一 看 就 懂 ) 

当 我 们 事先 知道 awareness 属 性 的 取 值 范围 并 且 不 希望 集群 中 有 过 多 的 分 片 副 本 时 ， 使 用 
forcing allocation awareness 机 制 会 很 方便 。 比 如 ， 不 希望 集群 中 负载 了 过 多 的 分 片 副 本 ， 我 
们 可 以 强制 allocation awareness 只 在 有 确定 参数 值 时 起 作用 。 我 们 可 以 指定 
clusterrouting.allocation.awareness.force.zone.values 属 性 的 值 ， 这 是 一 个 多 值 属 性 ， 多 个 值 
可 以 用 吉 号 区 分 开 来 。 比 如 ， 如 果 我 们 希望 allocation awareness 只 在 node.group 属 性 的 值 为 
groupA 和 groupB 生 效 时 ， 我 们 可 以 在 elasticsearch.yml 文 件 中 加 入 如 下 的 代码 : 


cluster.routing.allocation.awareness.attributes: group 
cluster.routing.allocation.awareness.force.zone.values: groupA, groupB 


ElasticSearch 人 允许 用 户 从 整个 集群 或 者 索引 的 层面 上 配置 allocation 机 制 。 在 集群 层面 上 
配置 allocation 机 制 时 ， 我 们 可 以 用 如 下 的 属性 前 组 : 


° cluster.routing.allocation.include 
° cluster.routing.allocation.require 
° cluster.routing.allocation.exclude 


如 果 是 在 索引 层面 的 分 配 ， 我 们 用 如 下 的 属性 前 组 : 


° index.routing.allocation.include 
° index.routing.allocation.require 
° index.routing.allocation.exclude 


上 面 提 到 的 前 缓 可 以 和 elasticsearch.yml 文 件 中 定义 的 属性 (tag 属 性 和 group 属 性 ) 结 合 起 
来 ， 而 且 还 有 一 个 命名 为 \_ip 的 属性 允许 用 户 匹 配 或 者 排除 一 些 特定 IP 的 节点 。 比 如 : 
cluster.routing.allocation.include.\ ip:192.168.2.1 


如 果 我 们 希望 把 group 属 性 值 为 groupA 的 节点 包括 进来 ， 我 们 可 以 设置 如 下 的 属性 : 
clusterrouting.allocation.include.group:groupA 


注意 我 们 使 用 cluster.routing.allocation.include 属 性 的 方式 是 以 它 为 前 级 并 和 其 它 属性 的 
名 字 串 联 起 来 ， 在 本 例 中 是 group 属 性 。 


include,exclude,required 属 性 的 意义 


如 果 读 者 仔细 观察 了 前 面 提 到 的 参数 ， 应 该 能 注意 到 它们 分 为 三 种 : 
° include: 这 种 类 型 将 导致 所 有 定义 了 该 参数 的 节点 都 会 被 包括 进来 。 如 果 配 置 多 种 


include 的 条 件 ， 那 么 在 进行 分 片 分 配 的 时 候 ， 只 要 有 一 个 条 件 满足 ， 节 点 就 会 被 
allocation 考 虑 进去 。 比 如 ， 如 果 我 们 在 配置 的 clusterrouting.allocation.include.tag 参 数 
中 中 添加 2 个 值 : node1 和 node2， 那 么 最 终 索引 的 分 片 会 分 配 到 第 一 个 节点 和 第 二 个 节 
点 中 (从 左 到 右 数 )。 总 结 一 下 : 对 于 带 有 include allocation 参 数 类 型 的 结 点 ， 


ElasticSearch 会 考虑 把 分 片 分 配 到 该 节点 ， 但 是 并 不 意味 着 ElasticSearch 一 定 会 把 分 片 
分 配 到 节点 。 

° require: 这 个 属性 是 ElasticSearch 0.90 版 本 引入 到 allocation filter 中 去 的 。 它 需要 节 
点 的 所 有 相关 属性 值 都 满足 它 设 定 的 值 。 比 如 ， 如 果 我 们 往 配 置 文件 中 添加 
cluster.routing.allocation.require.tag 参 数 并 设 其 值 为 node1， 添 加 
cluster.routing.allocation.require.group 参 数 并 设 其 值 为 groupA， 最 终 所 有 的 分 片 将 会 分 
配 到 第 一 个 节点 (IP 值 为 192.168.2.1 的 节点 ) 

° exclude: 这 个 属性 允许 我 们 在 allocation 过 程 中 排除 匹配 属性 值 的 节点 。 上 比如 ， 如 果 
我 们 设置 cluster.routing.allocation.include.tag 的 值 为 groupA， 最 终 我 们 的 索引 分 片 只 会 
分 配 到 |P 值 为 192.168.3.1 和 192.168.3.2 的 节点 上 (例子 中 的 第 3 和 第 4 个 节点 )。 


属性 值 可 以 使 用 简单 的 正则 表达 式 。 比 如 ， 如 果 我 们 包含 所 有 group 属 性 中 属 
s 隆 值 以 字符 串 group 开 头 的 结 点 ， 可 以 设置 
ran routing.allocation.include.group 的 值 为 group*。 在 我 们 的 样 例 集群 中 ， 
它 会 匹配 到 group 参 数值 为 groupA 和 groupB 的 节点 。 
运行 时 allocation 参 数 更 新 
除了 可 以 在 elasticsearch.yml 文 件 中 设置 前 面 讨论 的 属性 ， 当 集群 在 线 时 ， 我 们 也 可 以 通 
过 Update API 来 实时 更 新 这 些 参数 。 


索引 层面 的 参数 更 新 


如 果 想 更 新 给 定 索引 (比如 例子 中 的 mastering 索 引 ) 的 配置 信息 ， 我 们 就 要 运行 运行 如 下 
的 命令 


curl -XPUT 'localhost:9200/masteringA_settings' -d 'í 


"index.routing.allocation.require.group": "groupA" )' 


正如 你 所 看 到 的 ， 命 令 被 发 送 到 给 定 索 引 的 \ settings 端 点 。 在 一 条 命令 中 可 以 包含 多 个 
属性 。 


集群 层面 的 参数 更 新 
如 果 想 更 新 整个 集群 的 配置 信息 ， 我 们 就 要 运行 运行 如 下 的 命令 : 


curl -XPUT 'localhost:9200A_clusterA_settings' -d '{ "transient" : í 


"cluster.routing.allocation.require.group": "groupA" ) )' 


正如 你 所 看 到 的 ， 命 令 被 发 送 到 \_cluster\ settings 端 点 。 在 一 条 命令 中 可 以 包含 多 个 属 
性 。 请 记 住 上 面 命令 中 transient 关 键 字 ， 它 表示 设置 的 属性 在 集群 重启 后 就 不 再 生效 。 如 果 项 
望 设 置 的 属性 永久 生效 ， 用 persistent 属 性 代替 transient 属 性 就 可 以 了 。 下 面 的 命令 示例 将 会 
使 用 用 户 设置 在 系统 重启 后 依然 生效 : 

curl -XPUT 'localhost:9200A_clusterA_settings' -d '{ "peristent" : í 


"cluster.routing.allocation.require.group": "groupA" }} 


.请 注意 ， 在 相应 的 结 节 上 运行 上 面 的 命令 时 ， 会 


限定 每 个 分 片上 节点 的 数量 


除了 前 面 提 到 的 那些 属性 ， 我 们 也 允许 用 户 自 定义 每 个 节点 上 能 够 分 配 的 分 片 ( 主 分 片 和 
分 片 副 本 ) 数 量 。 为 了 实现 这 个 功能 ， 用 户 需 要 在 
index.routing.allocation.total\_shards\_per\_node 属 性 中 设置 相应 的 值 。 比 如 在 
elasticsearch.yml 文 件 中 ， 我 们 应 该 设置 如 下 : 


pA 


导致 分 片 在 节点 间 的 移动 。 


index.routing.allocation.total\ shardsV per, node:4 


这 个 属性 规定 了 每 个 节点 中 ， 单 个 索引 最 多 允许 分 配 4 个 分 片 。 这 个 属性 也 可 以 通过 
update API 在 线 上 实时 修改 : 
curl -XPUT 'localhost:9200/masteringA_settings' -d 'í 
"index.routing.allocation.totalN shardsV per\ node": "4" y 


现在 ， 让 我 们 看 看 在 elasticsearch.yml 文 件 中 配置 了 allocation 的 相关 属性 后 ， 几 个 单 索引 
集群 会 变 成 什么 样 。 


w2 点 e," 性 


现在 通过 我 们 的 示例 集群 来 看 看 allocation inclusion 是 怎么 工作 的 。 最 开始 ， 用 如 下 的 命 
令 创 建 一 个 mastering 索 引 。 


curl -XPOST 'localhost:9200/mastering' -d '{ "settings" : { "index" : í 
"number\ of\ shards" : 2, "number, of\ replicas" : 0111 


创建 索引 后 ， 试 着 执行 如 下 的 命令 
curl -XPUT 'localhost:9200/masteringA_settings' -d 'í 
"index.routing.allocation.include.tag": "node1", "index.routing.allocation.include.group": 
"groupA", "index.routing.allocation.total\ shards\ per\ node": 1 } 


如 果 让 索引 状态 可 视 化 ， 那 么 集群 看 起 来 应 该 跟 下 面 的 图 差不多 


Mastering Elasticsearch 中 文 版 






正如 你 所 看 见 的 ，Mastering 索 引 的 分 片 只 分 配 到 了 tag 属 性 值 为 node1 或 者 group 属 性 值 
为 groupA 的 节点 。 


" 结 点 必须 "属性 


现在 对 我 们 的 示例 集群 再 回收 利用 (假定 集群 中 已 经 没有 任何 索引 存在 )。 我 们 再 一 次 用 如 
下 的 命令 创建 一 个 mastering 索 引 : 


curl -XPOST 'localhost:9200/mastering' -d '{ "settings" : { "index" : í 
"number\ of\ shards" : 2, "number, of\ replicas": 01) }¥ 


随后 ， 试 着 执行 下 面 命令 : 
curl -XPUT 'localhost:9200/masteringA _settings' -d 'í 
"index.routing.allocation.require.tag": "node1", "index.routing.allocation.require.group": 
"groupA" y 


如 果 让 索引 状态 可 视 化 ， 那 么 集 应 该 跟 如 下 图 所 示 : 


ster | 


我 们 可 以 看 到 图 示 跟 使 用 include 属 性 有 些 不 同 。 这 是 因为 我 们 告诉 ElasticSearch 把 
Mastering 索 引 的 分 片 只 分 配 到 满足 require 参 数 所 有 设 定 值 的 节点 上 ， 在 本 例 中 只 有 第 一 个 节 
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" 结 点 排除 "属性 
我 们 再 一 次 使 用 示例 集群 ， 并 且 用 如 下 的 命令 创建 mastering 索 引 : 


curl -XPOST 'localhost:9200/mastering' -d '{ "settings" : { "index" : í 
"number\ of\ shards" : 2, "number, of\ replicas" : 01) y 


随后 ， 试 着 执行 下 面 的 命令 来 测试 allocation exclusion 属 性 : 
curl -XPUT 'localhost:9200/mastering/A_settings' -d '{ 


"index.routing.allocation.exclude.tag": "node1", "index.routing.allocation.require.group": 
"groupA" y 


接 下 来 ， 查 看 集群 中 各 个 节点 的 状态 : 


IP address: 192.168.2.1 
nodel 


IP address: 192.168.3.1 
node. tag: node3 
node.group: groupB 





正如 所 见 的 那样 ， 我 们 需要 group 属 性 值 为 groupA， 但 同时 我 们 又 要 排除 tag 属 性 中 值 为 
node1 的 节点 。 这 导致 Mastering 索 引 的 分 片 被 分 配 到 了 IP 地 址 为 192.168.2.2 的 节点 上 ， 这 也 
是 我 们 所 希望 的 。 


其 它 的 shard allocation 届 性 


除了 前 面 提 到 的 那些 属性 ， 在 配置 shard allocation 时 ，ElasticSearch 还 提供 了 其 它 的 几 
个 特性 。 下 面 我 们 一 起 来 了 解 一 下 这 些 属性 ， 看 看 集群 中 还 有 哪些 是 我 们 可 以 控制 的 


° cluster.routing.allocation.allow, rebalance: 这 个 属性 用 来 控制 rebalancing 发 生 的 时 
间 ， 它 是 基于 集群 中 分 片 的 状态 来 判断 的 。 这 个 属性 有 以 下 几 个 可 选 值 : 
[always,indice\ primaries\ active, indices\ allN active] ° 如 果 设 置 属 性 值 为 always > M] 
rebalancing 操 作 时 ， 不 用 判断 集群 中 分 片 的 状态 。( 这 个 值 要 小 心 使 用 ， 因 为 它 能 导致 集 
群 出 现 高 负载 状态 ); 如 果 设置 属性 值 为 indice\_primaries\active， 当 所 有 的 主 分 片 都 可 用 
时 ，rebalancing 才 会 发 生 ， 如 果 设 置 属 性 值 为 indices\ all\ active， 那 么 必须 所 有 分 片 ( 主 
分 片 和 分 片 副本 ) 都 已 经 分 配 就 位 ，rebalancing 才 会 发 生 。 默 认 值 是 indices\ all\ active ° 
cluster.routing.allocation.cluster\_concurrent\_rebalance: 该 属性 的 默认 值 为 2， 指 定 
了 集群 中 同一 时 间 允 许 的 rebalance 操 作 的 并 发 数 。 如 果 该 值 设置 得 比较 大 ， 将 会 导致 比 
较 高 的 |/O 〇 ， 上 比较 频繁 的 网 络 活动 以 及 比较 高 的 节点 负载 。 


cluster.routing.allocation.node\_initial\_primaries\ recoveries: 该 属性 指定 了 每 个 节 
点 可 以 同时 恢复 的 主 分 片 数量 。 由 于 主 分 片 的 恢复 通常 比较 快 ， 所 以 就 算 该 值 设置 得 比 
较 高 也 不 会 给 节点 带 来 太 大 的 压力 。 该 属性 的 默认 值 是 4。 

clusterrouting.allocation.node\_concurrent\_recoveries: 该 属性 值 默认 为 2。 用 来 指 
定单 节点 上 恢复 操作 的 并 发 数 。 需 要 记 住 的 是 ， 如 果 值 设置 的 过 大 ， 将 到 导致 非常 频繁 
的 MO 活动 。 

cluster.routing.allocation.disable\_new\ allocation: 该 属性 值 默认 为 flase。 用 来 禁止 
新 创建 的 索引 分 配 分 片 ( 主 分 片 和 分 片 副 本 都 算 在 内 )。 该 属性 可 以 用 于 以 下 场景 : 出 于 某 
些 原因 ， 和 希望 新 创建 的 索引 暂时 不 进行 分 片 的 分 配 。 该 属性 同时 也 可 以 用 来 禁止 现 有 的 
索引 分 配 新 的 分 片 ， 只 需要 在 该 索引 中 设置 
index.routing.allocation.disable\_new\_allocation 属 性 的 值 为 true 即 可 。 

cluster.routing.allocation.disable\ allocation: 该 属性 的 默认 值 是 false， 用 来 禁止 分 配 
已 经 创建 好 的 分 片 和 分 片 副本 。 需 要 注意 把 分 片 副本 提升 成 主 分 片 (在 主 分 片 不 存在 时 ) 操 
作 并 不 属于 分 片 分 配 ， 所 以 即使 该 属性 值 设 置 为 true, 对 分 片 提升 操作 也 没有 影响 。 该 属 
性 可 以 用 于 以 下 场景 : 需要 短 时 间 禁 止 新 创建 的 索引 进行 分 片 的 分 配 。 

clusterrouting.allocation.disable\_replica\_allocation: 该 属性 值 默认 为 false， 如 果 该 
属性 值 设置 为 true， 分 片 副本 的 分 配 将 会 被 禁止 。 该 属性 可 用 于 以 下 场景 : 需要 暂时 停止 
分 片 副本 的 分 配 。 该 属性 也 可 通过 在 索引 的 设置 项 中 设置 
index.routing.allocation.disable\_replica\_allocation 为 true 来 禁止 某 个 特定 索引 的 分 片 副 
本 的 分 配 。 


上 面 提 到 的 所 有 属性 都 是 既 可 以 在 elasticsearch.yml 文 件 中 设置 ， 也 可 以 用 update API # 
设置 。 但 是 在 实际 应 用 中 ， 用 户 一 般 只 使 用 update API 来 使 设置 生效 ， 比 如 
clusterrouting.allocation.disable\_new\_allocation， 


cluster.routing.allocation.disable\ allocation, 或 者 


clusterrouting.allocation.disable\_replica\_allocation 


改变 分 片 的 默认 分 配方 式 


在 前 面 的 章节 中 ， 我 们 学 习 了 很 多 关于 分 片 的 知识 以 及 与 之 相关 的 特性 。 我 们 也 讨论 了 
shard allocation 的 工作 方式 (本 章 的 调整 集群 的 分 片 分 配 一 节 )。 然 而 除了 默认 的 分 配方 式 ， 我 
们 并 没有 探讨 其 它 的 内 容 。ElasticSearch 提 供 了 更 多 的 分 片 分 配 策略 来 构建 先进 的 系统 。 在 
本 节 ， 我 们 将 更 深入 地 了 解 在 分 片 分 配方 面 ， 我 们 还 能 做 哪些 事情 。 


ShardAllocator 介 经 


ShardAllocator 是 决定 分 片 安置 到 哪个 节点 起 主要 作用 的 一 个 。 当 ElasticSearch 改 变数 
据 在 节点 上 的 分 配 时 ， 比 如 集群 拓扑 结构 的 改变 ( 当 节 点 添加 或 者 移出 集群 ) 或 者 用 户 强 制 集群 
进行 再 平衡 操作 ，ElasticSearch 中 分 片 就 需要 重新 分 配 。 在 ElasticSearch 内 部 ， 分 配器 继承 
org.elasticsearch.clusterrouting.allocation.allocator.ShardsAllocator 接 口 。ElasticSearch 提 
供 了 两 种 类 型 的 分 配器 ， 它 们 分 别 是 : 


° even\ shard 
° balanced( FRU È HL) 


我 们 可 以 通过 在 elasticsearch.yml 文 件 中 或 者 settings API 设 置 
clusterrouting.allocation.type 属 性 来 指定 一 种 分 配器 的 接口 实现 方式 。 


2, 


even_shard 分 片 分 配器 


早 在 0.90.0 版 本 之 前 ，ElasticSearch 就 已 经 支持 该 分 配器 。 它 唯一 的 作用 就 是 确保 每 个 节 
点 中 分 片 数 量 都 相同 (当然 ， 这 一 点 并 不 总 是 能 得 到 保证 的 )。 它 也 不 允许 把 主 分 片 和 它 的 副本 
存储 在 同一 个 节点 上 。 当 需要 重新 调整 分 片 分 布 时 ， 如 果 使 用 even_shard, 只 要 集群 没有 达到 
完全 平衡 的 状态 或 者 分 片 间 已 经 无 法 再 移动 了 ，ElasticSearch 就 会 把 一 些 分 片 从 分 片 密 集 节 
点 移动 到 分 片 稀 疏 节 点 。 需 要 注意 的 是 ， 这 种 分 配器 的 应 用 层面 并 非 索引 层面 ， 这 意味 着 只 
要 分 片 和 它 的 副本 分 布 在 不 同 的 节点 上 即 可 ， 它 并 不 关心 来 自 同一 个 索引 的 不 同 分 片 分 配 到 
哪个 节点 。 


balanced 分 片 分 配器 


该 分 配器 是 ElasticSearch 0.90.0 版 本 新 引入 的 ， 它 是 基于 服务 器 的 重要 程度 来 分 配 分 片 ， 
这 个 重要 程度 是 用 户 可 以 掌控 的 。 与 前 面 提 到 的 even_shard 分 配器 相 比 ， 它 通过 暴露 一 些 参 
数 接口 给 用 户 来 实现 分 片 分 配 过 程 的 调整 ， 这 些 参数 可 以 用 集群 的 Update API 实 时 更 新 ， 它 
们 是 : 


° clusterrouting.allocation.balance.shard: 默 认 值 0.45 
° clusterrouting.allocation.balance.index: 默 认 值 0.5 
° clusterrouting.allocation.balance.primary: 默 认 值 0.05 


° clusterrouting.allocation.balance.threshold: 默 认 值 1.0 


上 述 的 参数 决定 了 balanced 分 配器 的 行为 。 从 第 一 个 开始 一 一 介绍 ， 首 先是 基于 分 片 数 

量 的 权重 因子 ; 其 次 是 基于 某 个 索引 所 有 分 片 的 权重 因子 ; 最 后 是 基于 主 分 片 的 权重 因子 。 
我 们 暂时 将 threshold 参 数 放 在 一 边 ， 不 作 解 说 。 对 于 某 个 特定 的 因子 ， 其 权重 值 越 大 ， 表 明 
它 越 重 要 ， 对 ElasticSearch 在 分 片 重新 分 配 的 决策 上 产生 和 影响 也 越 大 。 


第 一 个 因子 用 来 告诉 ElasticSearch 每 个 节点 上 分 配 数量 相近 的 分 片 在 用 户 心 中 的 重要 程 
。 第 二 个 因子 的 作用 差不多 ， 只 是 不 针对 整个 集群 所 有 的 分 片 ， 针 对 的 是 整个 索引 的 所 有 
片 。 第 三 个 因 用 来 告诉 ElasticSearch 每 个 节点 上 分 配 数量 相同 的 主 分 片 在 用 户 心中 的 重要 
度 。 所 以 ， 如 果 你 的 集群 中 ， 保 证 每 个 节点 拥有 相同 数量 的 主 分 片 这 一 原则 非常 重要 ， 那 
么 就 应 该 提升 clusterrouting.allocation.balance.primary 的 权重 因子 值 ， 同 时 降低 除 threshold 
外 其 它 因子 的 权重 值 。 
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需要 进行 重新 分 配 了 。 如 果 由 于 某 个 原因 ， 你 希望 一 些 因子 不 影响 分 片 的 分 配 ， 那 么 设置 其 
值 为 0 即 可 。 


自 定 义 ShardAllocator 


有 些 情况 下 ， 系 统 内 置 的 分 配器 可 能 不 适用 于 用 户 的 系统 部 署 方案 。 比 如 ， 在 在 分 配 分 
片 的 过 程 中 要 考虑 到 索引 的 大 小 ; 又 比如 ， 一 个 由 不 同 硬件 组 件 ， 处 理 能 力 不 同 的 CPU， 数 
量 不 同 的 内 存 ， 容 量 不 同 的 硬盘 组 成 的 超大 集群 。 所 有 的 这 些 因素 都 可 能 导致 分 布 式 系 统 分 
发 数据 到 各 个 节点 时 效率 不 高 。 令 人 高 兴 的 是 ， 在 ElasticSearch 中 能 够 实现 自己 的 解决 方 
案 ， 只 需要 编写 自己 的 Java 类 ， 实 现 
org.elaticsearch.clusterrouting.allocation.allocatorShardsAllocator 接 口 ， 然 后 把 全 限定 类 名 
作为 clusterrouting.allocation.type 属 性 的 参数 值 ， 配 置 到 集群 中 即 可 。 


决策 者 (Deciders) 


为 了 了 解 分 片 分 配器 是 如 何 决定 什么 时 候 分 片 会 被 移动 ， 又 该 移 向 哪个 节点 ， 我 们 需要 
探 完 ElaticSearch 的 内 部 实现 方式 ， 这 个 内 部 实现 方式 称 为 决策 者 (deciders)。 它 们 就 像 是 人 
的 大 脑 一 样 制定 分 配 决 策 。ElasticSearch 允 许 用 户 同时 使 用 多 个 决策 者 ， 所 有 的 决策 者 在 决 
策 时 进行 投票 。 它 们 遵循 一 致 性 原则 ， 比 如 ， 如 果 一 个 决策 者 反对 重新 分 配 一 个 分 片 ， 那 么 
这 个 分 片 就 不 会 被 移动 。 如 下 的 决策 者 是 ElasticSearch 内 置 的 ， 它 们 的 决策 方式 一 成 不 变 ， 
除非 修改 源 代码 。 让 我 们 来 看 看 哪些 决策 者 是 默认 的 


SameShardAllocationDecider 


正如 它 的 名 字 一 样 ， 这 个 决策 者 不 允许 数据 及 副本 ( 主 分 片 和 分 片 副本 ) 出 现在 同一 个 节点 
上 的 状况 出 现 。 原 因 很 明显 : 我 们 不 希望 备份 数据 和 源 数据 放 在 同一 个 地 方 。 说 到 这 个 决策 
者 ， 我 们 就 不 得 不 提 clusterrouting.allocation.same\_shard.host 属 性 。 它 控制 着 
ElasticSearch 是 否 关 注 分 片 所 在 的 物理 机 。 其 默认 值 为 false， 因 为 多 个 节点 可 以 运行 在 完全 
一 样 的 服务 器 上 ， 通 过 运行 多 虚拟 机 的 方式 。 当 设置 它 的 值 为 true 时 ， 这 个 决策 者 就 不 允许 把 
分 片 和 它 的 分 片 副本 分 配 到 同一 个 物理 机 上 。 可 能 看 起 来 有 点 奇怪 ， 但 是 想 想 现 在 各 种 虚拟 


化 技术 大 行 其 道 ， 在 现代 社会 甚至 操作 系统 都 无 法 决定 其 运行 在 哪 台 物理 机 。 正 因为 如 此 ， 
最 好 多 依靠 index.routing.allocation 属 性 家 族 的 其 它 设 置 方式 来 实现 这 一 功能 ， 相 关 的 内 容 可 
以 从 本 章 调 整 集群 的 分 片 分 配 一 节 中 了 解 。 


ShardsLimitAllocationDecider 


ShardsLimitAllocationDecider 确 保 对 于 给 定 的 索引 ， 每 个 节点 上 分 片 的 数量 不 会 多 于 设 
定 的 数量 ， 该 值 设 定 在 index.routing.allocation.total\_shards\ per\_node 属 性 中 ， 可 以 将 该 属 
性 添加 在 elasticsearh.yml 文 件 中 或 者 用 update API 实 时 更 改 。 默 认 的 值 是 -1， 代 表 节 点 上 分 
片 的 数量 没有 任何 限制 。 需 要 注意 ， 如 降低 该 值 会 导致 集群 强制 进行 分 片 的 重新 分 配 ， 在 集 
群 平衡 这 个 过 程 中 引发 额外 的 负载 。 


FilterAllocationDecider 

FilterAllocationDecider 用 于 添加 分 控制 片 分 配 的 相关 属性 ， 即 这 些 属性 的 名 字 都 能 匹配 
WW*.routing.allocation.W 正 则 表达 式 。 关 于 该 决策 者 的 工作 方式 ， 可 以 在 本 章 的 adjusting shard 
allocation 一 节 中 找到 更 多 的 信息 。 

ReplicaAfterPrimaryActiveAllocationDecider 


该 决策 者 使 得 ElasticSearch 只 会 在 主 分 片 分 配 完毕 后 才 开 始 分 配 分 片 副本 。 


ClusterRebalanceAllocationDecider 


ClusterRebalanceAllocationDecider 允 许 集群 根据 当前 的 状态 改变 集群 再 平衡 的 结束 时 间 
点 。 该 决策 者 可 以 用 clusterrouting.allocation.allow_rebalance 属 性 控制 ， 该 属性 有 如 下 三 种 
值 可 用 : 


° indices\_all\_active: 它 是 默认 值 ， 表 示 只 有 集群 中 所 有 的 节点 分 配 完毕 ， 才 能 认定 集 
群 再 平衡 完成 。 
° indices\_primaries\_active: 这 个 值 表示 只 要 所 有 主 分 片 分 配 完 毕 了 ， 就 可 以 认定 集群 


再 平衡 完成 。 
° always: 它 表示 即使 当主 分 片 和 分 片 副 本 都 没有 分 配 ， 集 群 再 平衡 操作 也 是 允许 的 。 


注意 这 些 值 无 法 在 系统 运行 时 更 改 。 


ConcurrentRebalanceAllocationDecider 


ConcurrentRebalanceAllocationDecider 能 够 对 分 片 重 定位 操作 进行 限制 ， 通 过 
clusterrouting.allocation.clusten_concurrent\_rebalance 属 性 实现 。 利 用 该 属性 ， 我 们 可 以 设 
置 给 定 集 群 中 同时 进行 分 片 重 定位 的 分 片 个 数 。 系 统 默 认 值 是 2， 表 示 集 群 中 最 多 有 两 个 分 片 
可 以 同时 移动 。 如 果 设 置 值 为 -1， 就 关闭 了 限制 功能 ， 这 意味 着 rebalance 的 并 发 数 不 受 限 
制 。 


DisableAllocationDecider 


DisableAllocationDecider 是 另 一 种 通过 调整 分 片 分 配方 式 来 满足 业务 需求 的 决策 者 ， 我 
们 可 以 通过 更 改 如 下 的 设置 (可 以 在 elasticsearch.yml 中 静态 修改 或 者 用 集群 的 settings API 动 
态 修改 ) : 


° cluster.routing.allocation.disable\ allocation: 这 个 设置 项 用 来 停止 所 有 分 片 的 分 配 。 
° clusterrouting.allocation.disable\_new\_allocation: 这 个 设置 项 用 来 停止 所 有 的 新 的 
主 分 片 的 分 配 。 
° clusterrouting.allocation.disable\_replica\_allocation: 这 个 设置 项 用 来 停止 所 有 的 分 
片 副本 的 分 配 。 
这 些 设置 项 都 默认 设置 为 false。 当 希望 完全 控制 分 片 什么 时 候 可 以 进行 分 配 操作 时 ， 
些 设置 项 用 起 来 很 方便 。 比 如 ， 你 希望 重新 配置 一 些 节 点 ， 然 后 重新 启动 使 配置 生效 ， a 
就 可 以 事先 停止 分 片 “realocationse eae ， 尽管 上 述 设置 项 可 以 在 
elasticsearch.yml 文 件 中 设置 ， 但 是 通常 用 update API 会 更 有 意义 。 


AwarenessAllocationDecider 


AwarenessAllocationDecider 负 责 分 配 感 知 (awareness) 的 功能 。 只 要 使 用 了 
clusterrouting.allocation.awareness.attributes 设 置 项 ， 这 个 决策 者 就 会 生效 。 更 多 相关 的 功 
能 可 以 参看 本 章 调整 集群 的 分 片 分 配 一 节 的 内 容 。 


ThrottlingAllocationDecider 


ThrottlingAllocationDecider 跟 前 面 提 到 的 ConcurrentRebalanceAllocationDecider 有 些 类 
似 。 这 个 决策 者 可 以 用 来 限制 allocation 过 程 中 产生 的 系统 负载 。 我 们 可 以 通过 如 下 的 属性 来 
操控 这 个 决策 者 : 


° clusterrouting.allocation.node\_initial\_primaries\_recoveries: 这 个 属性 的 默认 值 为 
4， 它 用 来 描述 单个 节点 上 允许 recovery 操 作 的 初始 主 分 片 数 量 。 
° clusterrouting.allocation.node\_concurrent\_recoveries: 它 的 默认 值 是 2， 它 用 来 限 


制 单个 节点 上 进行 recovery 操 作 的 并 发 数 。 


RebalanceOnlyWhenActiveAllocationDecider 


RebalanceOnlyWhenActiveAllocationDecider 用 来 限制 rebalancing 过 程 只 了 生 在 所 有 分 
片 都 活跃 于 同一 个 分 片 复制 组 ( 主 分 片 和 它 的 分 片 副本 ) 这 一 状态 下 。 


DiskThresholdDecider 


DiskThresholdDecider 是 在 ElasticSearch 0.90.4 版 本 引入 的 功能 。 它 允许 用 户 基于 可 用 
磁盘 空间 来 分 配 分 片 。 它 默认 是 关闭 的 。 如 果 想 启动 它 ， 则 需要 把 
clusterrouting.allocation.disk.threshold_enabled 属 性 设置 为 true。 这 个 决策 者 可 以 通过 配置 
阅 值 来 控制 何 时 可 以 将 分 片 分 配 到 该 节点 ， 何 时 ElasticSearch 应 该 把 分 片 分 配 到 其 它 节点 。 


cluster.routing.allocation.disk.watermark.low 属 性 允许 用 户 指 定 一 个 百分比 阅 值 或 者 绝对 
数值 来 控制 何 时 能 够 进行 分 片 分 配 。 比 如 默认 值 是 0.7， 表 示 当 可 用 磁盘 空间 低 于 70% 时 ， 新 
的 分 片 才 可 以 分 配 到 该 节点 上 。 


cluster.routing.allocation.disk.watermark.high 属 性 允许 用 户 指定 一 个 百分比 阅 值 或 者 绝对 
数值 来 控制 何 时 需要 将 分 片 分 配 到 其 它 的 节点 。 比 如 默认 值 是 0.85， 表 示 当 可 用 磁盘 空间 高 
于 85% 时 ，ElasticSearch 会 重新 把 该 节点 的 分 片 分 配 到 其 它 节点 。 


clusterrouting.allocation.disk.watermark.low 属 性 和 
cluster.routing.allocation.disk.watermark.high 属 性 都 可 以 指定 一 个 百分比 阅 值 (比如 0.7 或 者 
0.85) 或 者 绝对 数值 (比如 1000mb)。 来 控制 何 时 需要 将 分 片 分 配 到 其 它 的 节点 。 比 如 默认 值 是 
0.85， 此 外 ， 上 述 属 性 都 可 以 通过 elasticsearch.yml 静 态 设 置 或 者 用 ElasticSearch API 动 态 调 
k o 


查询 命令 的 execution preference 


暂时 先 忘记 分 片 分 配 以 及 分 配方 式 ，ElasticSearch 不 仅 提 供 了 关于 分 片 和 分 片 副本 各 式 
各 样 的 设置 方式 ， 同 时 也 提供 了 指定 查询 命令 (还 有 其 它 的 操作 ， 比 如 real time get) 执 行 位 置 
的 功能 。 在 详细 了 解 该 功能 之 前 ， 先 看 看 样 例 集 群 : 


Mastering 
Primary shard 0 


Node name: node1, id: 6GVd-ktcS2um4uM4AAJQhQ Node name: node2, id: WW76Z_TaTfGRmbtCcPHF0Q 


Mastering Mastering 
Replica shard O | | Replica shard 1 





ElasticSearch cluster 


通过 上 图 可 以 看 到 ， 样 例 集群 有 3 个 节点 和 一 个 名 称 为 Mastering 的 索引 。 索 引 拆 分 成 两 
个 主 分 片 ， 每 个 分 片 都 有 一 个 分 片 副 本 。 


preference 参 数 简介 


为 控制 客户 端 发 送 的 查询 (及 其 它 操作 ) 命 令 在 集群 中 执行 的 位 置 ， 我 们 用 到 了 preference 
参数 ， 该 参数 可 指定 如 下 的 值 : 


° VN primary: 使 用 该 属性 值 ， 发 送 到 集群 的 相关 操作 请 求 只 会 在 主 分 片上 执行 。 如 果 发 
送 查 询 命令 到 mastering 索 引 时 附带 了 值 为 primary 的 preference 参 数 ， 该 命令 将 只 在 名 
字 为 node1 和 node2 的 节点 上 执行 。 比 如 ， 如 果 用 户 集 群 的 主 分 片 在 一 个 机 架 中 ， 分 片 副 
本 在 另 一 个 机 架 中 ， 用 户 就 可 能 希望 命令 只 在 主 分 片 中 执行 以 避免 使 用 网 络 流量 。 

° \_primary\_first: 该 属性 值 与 \ primary 属 性 值 导致 相似 的 集群 行为 ， 但 是 具有 容错 机 
制 。 如 果 发 送 查 询 命令 到 mastering 索 引 时 附带 了 值 为 ，primary\_first 的 preference 参 数 ， 
该 命令 将 在 名 称 为 node1 和 node2 的 节点 上 执行 ， 但 是 如 果 有 一 个 (或 者 更 多 ) 的 主 分 片 失 
效 ， 查 询 命令 将 转 到 其 它 的 分 片上 执行 ， 在 本 例 中 会 转 到 node3 上 执行 。 正 如 我 们 所 说 ， 
该 属性 值 与 ，primary 属 性 值 相 似 ， 但 是 如 果 由 于 某 些 原因 主 分 片 失效 了 ， 那 么 命令 就 会 
回转 到 分 片 副 本 上 执行 。 

° V local: ElasticSearch 会 优先 在 本 地 的 节点 上 执行 相关 操作 。 比 如 ， 如 果 我 们 向 
node3 发 送 附 带 一 条 preference 参 数值 为 \ local 的 查询 命令 ， 最 终 该 查询 命令 会 在 node3 
上 执行 。 但 是 ， 如 果 我 们 把 相同 的 命令 发 送 到 node2 节 点 ， 那 么 最 终 该 命令 不 仅 会 在 编号 
为 1 的 分 片 (分 片 位 于 本 地 节点 ) 上 执行 ， 同 时 也 会 分 发 到 node1 或 者 node3 上 执行 ， 这 两 个 
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节点 上 有 编号 为 0 的 分 片 。 该 属性 值 在 减 小 网 络 传输 时 间 上 特别 有 用 。 只 要 用 到 了 \ local 
preference 参 数值 ， 我 们 就 能 确保 查询 命令 会 尽 可 能 地 在 本 地 的 节点 上 执行 。( 比 如 ， 从 
本 地 节点 运行 一 个 客户 端 连接 或 者 发 送 一 个 查询 命令 到 节点 上 ) 

° \_only\_node:wJq0kPSHTHCovjuCsVK0-A: 这 类 的 操作 只 会 在 指定 标识 (本 例 中 是 
wJq0kPSHTHCovjuCsVK0-A) 的 节点 上 执行 。 所 以 在 本 例 中 ， 查 询 命 令 只 会 在 node3 节 
点 上 的 两 个 分 片 副 本 上 执行 。 需 要 注意 的 是 ， 如 果 指 定 节点 中 的 分 片 不 足以 覆盖 到 整个 
索引 的 数据 ， 那 么 命令 就 只 会 在 指定 节点 的 相关 分 片上 执行 。 比 如 ， 如 果 我 们 将 查询 命 
令 的 preference 参 数值 设置 为 \ only\ node:6GVd-ktcS2um4uM4AAJQhQ， 我 们 就 只 会 
获取 到 一 个 分 片 的 数据 。 这 个 属性 值 在 如 下 的 应 用 场景 中 非常 有 用 : 用 户 已 经 知道 某 个 
节点 所 在 的 服务 器 处 理 能 力 强大 ， 和 希望 一 些 特定 的 查询 命令 只 在 该 节点 上 执行 。 

° \_prefer\ node:wJq0kPSHTHCovjuCsVK0-A: 这 个 选项 用 来 把 preference 参 数值 设置 
成 \_prefer\ node:， 后 面 附带 的 值 是 一 个 节点 ld( 本 例 中 就 是 wJq0kPSHTHCovjuCsVK0- 
A) ， 这 会 导致 ElasticSearch 优 先 选择 指定 的 节点 来 执行 查询 命令 ， 但 是 如 果 该 节点 上 缺 
少 索 引 数 据 的 一 些 分 片 ， 那 么 查询 命令 会 发 到 含有 欠缺 分 片 的 节点 上 。 这 与 \_only\_node 

选项 是 类 似 的 ，\ es node 也 可 以 用 来 选择 特定 的 节点 ， 但 是 具备 容错 机 制 。 

° \shards:0,1: 这 个 preference 值 用 来 指定 相关 操作 执行 的 某 类 分 片 (在 本 例 中 就 是 所 有 
的 分 片 ， 因 为 整 TE 从 片 )。 这 是 唯一 的 一 个 可 以 结合 其 它 属 
性 使 用 的 preference 值 。 比 如 ， 如 果 和 希望 命令 只 执行 在 本 地 节点 的 id 为 0 或 者 1 的 分 片上 ， 
我 们 可 以 把 0,1 两 个 值 和 \_local 值 用 “;” 连 接 起 来 ， 最 终 得 到 的 preference 参 数值 就 是 这 样 
了 :0,1:_local。 人 允许 用 户 发 出 的 命令 只 在 某 个 分 片上 执行 这 一 特性 用 于 诊断 集群 问题 是 非 
常 有 帮助 的 。 

° custom, 字 符 串 值 : 这 个 自 定义 值 会 确保 附带 相同 custom 值 的 查询 命令 会 在 同样 的 分 
片上 执行 。 比 如 ， 如 果 我 们 的 查询 命令 附带 preference 参 数值 为 
mastering_elasticsearch， 那 么 S de 分 片上 执行 。 如 果 我 们 又 发 
送 了 另 一 个 附带 同样 preference 参 数值 的 查询 命令 ， 该 命令 也 只 会 在 node1 和 node2 的 分 
片上 执行 。 该 功能 用 于 应 对 以 下 应 用 场景 : 假如 集群 中 的 各 个 节点 刷新 速率 不 一 样 ， 我 
们 不 希望 用 户 在 重复 同一 个 命令 时 看 到 不 同 的 结果 ， 就 应 该 使 用 该 功能 。 


后 还 有 一 点 没有 提 到 ， 就 是 ElasticSearch 的 默认 操作 。 默 认 情 况 下 ，ElasticSearch 会 
将 相关 操作 随机 分 发 到 分 片 或 者 分 片 副本 上 “。 如 果 往 集群 中 发 送 大 量 的 查询 命令 ， 最 终 每 个 
片 和 分 片 副 本 上 执行 的 查询 命令 数量 会 大 致 相同 。 


学 以致 用 


随 着 第 4 章 的 慢 慢 接近 尾声 ， 我 们 需要 获取 一 些 接近 我 们 日 常 工作 的 知识 。 因 此 ， 我 们 决 
定 把 一 个 真实 的 案例 分 成 两 个 章节 的 内 容 。 在 本 章节 中 ， 你 将 学 到 如 何 结合 所 学 的 知识 ， 基 
于 一 些 假设 ， 构 建 一 个 容错 的 、 可 扩展 的 集群 。 由 于 本 章 主要 讲 配置 相关 的 内 容 ， 我 们 也 将 
聚焦 集群 的 配置 。 也 许 结构 和 数据 有 所 不 同 ， 但 是 对 面 同样 的 数据 量 集群 处 理 检索 需求 的 解 
决 方案 也 许 对 你 有 用 。 


假设 


在 进入 到 纷繁 的 配置 细节 之 前 ， 我 们 来 做 一 些 假设 ， 我 们 将 基于 这 些 假设 来 配置 我 们 的 
ElasticSearch 集 群 。 


数据 规模 和 检索 性 能 需求 


假设 我 们 有 一 个 在 线 图 书馆 ， 目 前 线 上 销售 100,000 种 各 种 语言 的 书籍 。 我 们 希望 查询 请 
求 的 平均 响应 时 间 不 高 于 200 毫 秒 ， 这 样 就 能 避免 用 户 在 使 用 搜索 服务 时 等 待 太 长 的 时 间 ， 也 
能 避免 浏览 器 浑 染 页 面 时 等 待 太 长 时 间 。 所 以 ， 现 在 来 实现 期 望 负 载 。 我 们 做 了 一 些 性 能 测 
试 (内 容 起 出 本 书 的 范围 ) 而 且 我 们 测 到 如 下 方案 性 能 最 好 : 给 集群 分 配 4 个 节点 ， 数 据 切 分 
到 两 个 分 片 ， 而 且 每 个 分 片 挂 载 一 个 副本 。 


读者 也 许 想 自己 做 一 些 性 能 测试 。 如 果 自 己 做 ， 可 以 选择 一 些 开源 工具 来 模拟 
用 户 发 送 查 询 命令 到 集群 中 。 比 如 ，Apache JMeter(http://jmeter.apache.org/) 
”或 者 ActionGenerator(https:/github.com/sematext/ActionGenerator) 。 除 此 之 
Sm ， 还 可 以 通过 ElasticSearch 提 供 的 一 些 插件 来 查看 统计 记录 ， 比 如 
paramedic(https://github.com/karmi/elasticsearch-paramedic) ， 或 者 
BigDesk(https://github.com/lukas-vlcek/bigdesk) ， 或 者 直接 使 用 功能 完善 的 
监测 和 报警 解决 方案 ， 比 如 Sematext 公 司 开 发 ， 用 于 ElasticSearch 的 SPM 系 
统 (http://sematext.com/spm/elasticsearch-performancemonitoring/index.html) 
a A 5 
因此 sasha aa OUVMBS3A4 B t TEA AEA 
行为 (上 面 提 到 的 工具 中 有 部 分 工具 提供 了 相应 的 功能 ) ° 


Mastering Elasticsearch 中 文 版 





当然 ， 分 片 及 分 片 副本 丨 实 的 放置 位 置 可 能 有 所 不 同 ， 但 是 背后 的 逻辑 是 一 致 的 : 即 我 


们 希望 一 节 点 一 分 片 S 


集群 完整 配置 
接 下 来 我 们 为 集群 创建 配置 信息 ， 并 详细 讨论 为 什么 要 在 集群 中 使 用 如 下 的 属性 : 


学 以 致 用 
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cluster.name: books 

W node configuration 

node.master: true 

node.data: true 

node.max\ local\ storage\ nodes: 1 

\# indices configuration 

index.number\ of\ shards: 2 
index.number\ of\ replicas: 1 
index.routing.allocation.total\ shards\ per\ node: 1 
\# instance paths 

path.conf: /usr/share/elasticsearch/conf 
path.plugins: /usr/share/elasticsearch/plugins 
path.data: /mnt/data/elasticsearch 

path.work: /usr/share/elasticsearch/work 

path.logs: /var/log/elasticsearch 

\# swapping 

bootstrap.mlockall: true 

\#gateway 

gateway.type: local 

gateway.recover\ after\ nodes: 3 
gateway.recover\ after\ time: 30s 
gateway.expected\ nodes: 4 

\# recovery 

cluster.routing.allocation.node\ initial\_primaries\ recoveries: 1 
cluster.routing.allocation.node\ concurrent\ recoveries: 1 
indices.recovery.concurrent\ streams: 8 

\# discovery 
discovery.zen.minimum\ master\ nodes: 3 

\# search and fetch logging 
index.search.slowlog.threshold.query.info: 500ms 
index.search.slowlog.threshold.query.debug: 100ms 
index.search.slowlog.threshold.fetch.info: 1s 
index.search.slowlog.threshold.fetch.debug: 200ms 
W JVM gargabe collection work logging 
monitorjvm.gc.ParNew.info: 700ms 
monitorjvm.gc.ParNew.debug: 400ms 
monitorjvm.gc.ConcurrentMarkSweep.info: 5s 
monitorjvm.gc.ConcurrentMarkSweep.debug: 2s 


接 下 来 了 解 各 个 属性 值 的 意义 。 
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节点 层面 的 配置 


在 节点 层面 的 配置 中 ， 我 们 指定 了 一 个 集群 名 字 ( 使 用 clustername 属 性 ) 来 标识 我 们 的 集 
群 。 如 果 在 同一 个 网 段 中 配置 了 多 个 集群 ， 名 字 相 同 的 节点 会 守护 甜心 连接 成 一 个 集群 。 接 
下 来 ， 这 个 特殊 的 节点 会 被 选举 成 主 节 点 (用 Dd le Jo 而且 该 节点 可 以 容纳 索 
引 数 据 (node.data:true)。 此 外 ， 通 过 设置 node.max\ local\ storeage\ nodes 届 性 值 为 1， 可 
以 限制 一 个 节点 上 最 多 能 够 运行 1 个 ElasticSearch 实 例 。 


索引 的 配置 


由 于 我 们 只 有 一 个 索引 ， 而 且 暂 时 也 不 打算 添加 更 多 的 索引 ， 我 们 决定 设置 分 片 的 默认 
数量 为 2( 用 index.number\ of\ shards 属 性 )， 设 置 分 片 副 本 的 默认 数量 为 1( 用 
index.number\_of\_replicas 属 性 )。 上 此外， 我们 还 设置 了 
index.routing.allocation.total\ shards\ per\ noden 性 值 为 1， 这 意味 着 对 于 每 个 索引 ， 
ElasticSearch 只 会 在 单个 节点 上 分 配 一 个 分 片 。 这 应 用 到 我 们 的 4- 节 点 集群 的 例子 中 就 是 每 
个 节点 会 平均 分 配 所 有 的 分 片 


各 种 目录 的 规划 


我 们 已 经 把 ElasticSearch 安 装 到 了 /usrshare/elasticsearch 目 录 ， 基 于 此 ，conf 目 录 、 
plugins 目录 和 工作 目录 都 在 该 目录 下 。 由 于 这 个 原因 ， 我 们 把 数据 单独 指定 到 硬盘 的 一 个 地 
方 ， 这 个 地 方 就 是 /mnt/data/elasticsearch 挂 载 点 。 最 后 ， 我 们 把 日 志文 件 安 置 
到 /varlog/elasticsearch 目 录 。 基 于 这 样 的 目录 规划 ， 我 们 在 做 配置 的 更 新 操作 时 ,只 需要 关 
注 /usr/share/elasticsearch 目 录 即 可 ， 无 需 接 触 其 它 的 目录 。 


Gateway 的 配置 


正如 读者 所 了 解 的 ，gateway 是 负责 存储 索引 和 元 数据 的 模块 。 在 本 例 中 ， 我 们 选择 推荐 
的 ， 也 是 唯一 没有 废弃 的 gateway 类 型 ， 即 local (gateway.type 属 性 ) 。 我 们 说 我 们 希望 当 集 
群 只 有 三 个 节点 时 ,恢复 进程 就 启动 (gateway.recover\ after\ nodes 属 性 )， 同 时 至 少 3 个 节点 
相互 连接 30 秒 后 开始 恢复 任务 (用 gateway.recover\ after\ _ time 属性 )。 此 外 ， 我 们 还 可 以 通过 
设置 gateway.expected\_nodes 属 性 值 为 4， 用 来 通知 ElasticSearch， 我 们 的 集群 将 由 4 个 节点 
组 成 。 


集群 恢复 机 制 


对 于 ElasticSearch 来 说 ， 最 核心 的 一 种 配置 就 是 集群 恢复 配置 。 尽 管 它 不 是 每 天 都 会 用 
到 ， 正 如 你 不 会 每 天 都 重启 ElasticSearch， 也 不 希望 集群 经 常 失效 一 样 。 但 是 防范 于 未 然 是 
必须 的 。 因 此 我 们 来 讨论 一 下 用 到 的 相关 属性 。 我 们 已 经 设置 了 
cluster.routing.allocation.node\ ma primaries\_recoveries 属 性 为 1， 这 意味 着 我 们 只 允许 
人 点 同时 恢复 一 个 主 分 片 。 这 没有 问题 ， 因 为 每 个 服务 器 上 只 有 一 个 节点 。 然 而 请 记 住 
这 个 操作 基于 gateway 的 local 类 型 时 会 非常 快 ， 因 此 如 果 一 个 节点 上 有 多 个 主 分 片 时 ， 不 妨 把 
这 个 值 设 置 得 大 一 点 。 我 们 也 设置 了 cluster routing.allocation.node\_concurrent\_recoveries 
属性 值 为 1， 再 一 次 限制 每 个 节点 同时 恢复 的 分 片 数量 (我 们 的 集群 中 每 个 节点 只 有 一 个 分 片 ， 


不 会 触发 这 条 属性 的 红线 ， 但 是 如 果 每 个 节点 不 止 一 个 分 片 ， 而 且 系统 HMO 允 许 时 ， 我 们 可 以 
把 这 个 值 设 置 得 稍微 大 一 点 )。 此 外 ， 我 们 也 设置 了 indices.recovery.concurrent\_streams 属 性 
值 为 8， 这 是 因为 在 最 初 测 斌 recovery 过 程 时 ， 我 们 了 解 到 我 们 的 网 络 和 服务 器 在 从 对 等 的 分 
片 中 恢复 一 个 分 片 时 能 够 轻松 地 使 用 8 个 并 发 流 ， 这 也 意味 着 我 们 可 以 同时 读 取 8 个 索引 文 

件 。 


节点 发 现 机 制 


在 集群 的 discovery 模 块 配置 上 ， 我 们 只 u ee s : 设置 
discovery.zen.minimum\_master\_nodes 属 性 值 为 3。 它 指定 了 组 成 集群 所 需要 的 最 少 主 节点 
候选 节点 数 。 这 个 值 至 少 要 设置 成 节点 数 的 50%+1， 在 本 例 中 就 是 3。 它 用 来 防止 集群 出 现 如 
下 的 状况 : 由 于 某 些 节点 的 失效 ， 部 分 节点 的 网 络 连 接 会 断 开 ， 并 形成 一 个 与 原 集 群 一 样 名 
字 的 集群 (这 种 情况 也 称 为 "集群 脑 裂 "状况 )。 这 个 问题 非常 危险 ， 因 为 两 个 新 形成 的 集群 会 同 
时 索引 和 修改 集群 的 数据 。 


记录 慢 查 询 日 志 


使 用 ElasticSearch 时 有 件 事情 可 能 会 很 有 用 ， 那 就 是 记录 查询 命令 执行 过 程 中 一 段 时 间 
或 者 更 长 的 日 志 。 记 住 这 种 日 志 并 非 记 录 命 令 的 整个 执行 时 间 ， 而 是 单个 分 片上 的 执行 时 
闻 ， 即 命令 的 部 分 执行 时 间 。 在 本 例 中 ， 我 们 用 INFO 级 别 的 日 志 来 记录 执行 时 间 长 于 500 毫 
秒 的 查询 命令 以 及 执行 时 间 长 于 1 秒 的 real time get 请 求 。 在 调试 时 ， 我 们 把 这 些 值 分 别 设置 
为 100 毫 秒 和 200 毫 秒 。 如 下 的 配置 片段 用 于 上 述 需求 : 


index.search.slowlog.threshold.query.info: 500ms 
index.search.slowlog.threshold.query.debug: 100ms 
index.search.slowlog.threshold.fetch.info: 1s 
index.search.slowlog.threshold.fetch.debug: 200ms 


记录 垃圾 回收 器 的 工作 日 志 


最 后 ， 集群 没有 监控 解决 方案 (至 少 刚 开始 没有 )， 我 们 想 看 到 垃圾 收集 器 的 工 
作 状 态 。 说 得 更 清楚 一 点 ， 我 们 希望 看 到 垃圾 回收 器 是 否 花 了 太 多 的 时 间 ， 如 果 是 ， 是 在 哪 
个 时 间 段 。 为 — 实现 这 一 需求 ， 我 们 在 elasticsearch.yml 文 件 中 添加 下 面 的 信息 : 


monitor.jvm.gc.ParNew.info: 700ms monitorjvm.gc.ParNew.debug: 400ms 
monitorjvm.gc.ConcurrentMarkSweep.info: 5s 
monitorjvm.gc.ConcurrentMarkSweep.debug: 2s 


在 INFO 级 别 的 日 志 中 ，ElasticSearch 会 把 运行 时 间 太 长 的 垃圾 回收 过 程 的 相关 信息 记录 
下 来 ， 按 照 设置 ， 阅 值 为 concurrent mark sweep 收 集 器 收集 过 程 超过 5 秒 ， 新 生 垃 圾 收集 超 
过 700 毫 秒 。 我 们 也 添加 了 DEBUG 级 别 的 日 志 来 应 对 debug 需 求 和 问题 的 修复 。 


[< 


如 果 不 清楚 什么 是 新 生 代 垃圾 回收 ， 或 者 不 清楚 什么 是 concurrent mark ] 内 存 设 
sweep， 请 参考 Oracle 的 Java 文 档 : = 
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都 有 16GB RAM 。 通 常 不 推荐 将 JVM 堆 内 存 设 置 高 于 可 用 内 存 的 50%， 本 例 也 是 如 此 。 我 们 
设置 Java 的 Xms 属 性 值 为 89g， 对 于 我 们 的 应 用 来 说 应 该 够 用 了 “。 由 于 我 们 的 索引 数据 量 不 

大 ， 而 且 由 于 不 需要 facet 较 高 基于 的 域 ， 所 以 就 没有 parent-child 关 系 型 数据 。 在 前 面 显示 的 
配置 信息 中 ， 我 们 在 ElasticSearch 中 也 设置 了 垃圾 回收 器 的 相关 参数 ， 但 是 对 于 长 期 监测 ， 
最 好 使 用 专业 的 监控 工具 ， 比 如 SPM(http://sematext.com/spm/index.html ) 或 者 
Munin(http://munin-monitoring.org/ ) ° 


我 们 已 经 提 到 通用 的 规则 ， 即 50% 的 物理 内 存 用 于 JVM， 余 下 的 内 存 用 于 操作 
系统 。 就 像 其 它 绝 大 部 分 规则 一 样 ， 这 条 规则 也 适用 于 绝 大 部 分 的 场景 。 但 是 
NS 我 让 设想 一 下 > 我 们 的 索引 数据 会 占 到 30GB 的 硬盘 空间 ， 我 们 有 128GB 的 
” ”RAM 内 存 ， 但 是 考虑 到 parent-child 关 系 型 的 数据 量 和 高 基数 的 域 中 进行 
faceting 操 作 ， 如 果 分 配 到 JVM 的 堆 内 存 是 64G 就 会 有 出 现 out-of-memory 开 常 
的 风险 。 在 这 样 的 安全 中 ， 是 否 依 然 只 分 配 50% 的 可 用 内 存 空 间 呢 ? 在 我 们 看 
来 ， 答 案 是 NO， 但 这 只 适用 于 特殊 的 案例 ， 前 面 提 到 从 128G 内 存 中 JVM 分 配 
遗失 G86 小 缔 后 ， 单 个 索引 的 数据 量 远 远 小 于 JYVM 中 可 用 内 存 的 大 小 ， 所 以 我 们 可 
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锁 住 ， 并 确保 该 块 内 存 不 会 被 操作 系统 蔡 换 成 虚拟 内 存 。 如 果 把 bootstrap.mlockall 设 置 为 
true， 推 荐 用 户 把 ES\ MIN\ ME 和 ES\ MAX\ ME 两 个 属性 设置 成 相同 的 值 。 这 样 做 可 以 确保 
服务 器 有 足够 的 物理 内 存 来 启动 ElasticSearch， 并 且 保 留 足够 的 内 存 给 操作 系统 让 系统 流畅 
运行 。 我 们 将 在 第 6 章 应 对 突 发 事件 的 避免 Unix-like 操 作 系 统 的 swapping 操 作 一 节 中 了 解 更 
多 的 相关 知识 。 


量变 引起 质变 


种 图 书 ， 所 以 系统 需要 处 理 的 数据 量 将 是 现在 的 20 倍 (只 估算 索引 文档 的 数量 )。 我 们 必须 为 这 
些 变化 作 准 备 ， 也 就 是 说 要 更 改 我 们 的 ElasticSearch 集 群 ， 使 我 们 的 用 户 体验 能 够 得 到 保持 
其 至 提升 现 。 我 们 需要 做 什么 呢 ? 先 解决 容易 的 事情 。 我 们 可 以 更 改 ( 增 加 或 者 减少 ) 分 片 副本 
的 数量 ， 这 无 需 做 其 它 的 工作 。 这 样 做 系统 就 可 以 同时 执行 更 多 的 查询 命令 ， 当 然 也 会 相应 
地 增加 集群 的 压力 。 这 样 做 的 缺点 就 是 增加 了 额外 的 硬盘 空间 开销 。 我 们 同时 也 要 确保 额外 
的 分 片 副 本 可 以 分 配 到 集群 的 节点 上 (参考 选择 恰当 的 分 片 数 量 和 分 片 副 本 数量 一 节 中 的 那个 
公式 )。 还 要 记 住 性 能 测试 的 结论 : 作为 结果 的 吞吐 量 指标 永远 依赖 于 多 个 无 法 用 数学 公式 刻 
画 的 因素 。 

添加 主 分 片 怎么 样 ?3 前 面 已 经 提 到 ， 我 们 无 法 在 线 修改 主 分 片 的 数量 。 如 果 我 们 事 多 分 
配 分 片 ， 就 为 预期 的 数据 增长 预 留 了 空间 。 但 是 在 本 例 中 ， 集 群 有 2 个 主 分 片 ， 应 对 100,000 
的 数据 足够 了 。 但 是 在 短 时 间 里 对 于 2,100,000( 已 经 处 理 的 数据 和 将 要 添加 进来 的 数据 ) 的 数 


据 量 来 说 太 少 。 谁 会 预想 到 会 这 么 成 功 呢 ? 因此 ， 必 须 设 想 一 个 可 以 处 理 数据 增长 的 解决 方 
案 ， 但 是 又 必须 尽 可 能 减少 停 服 的 时 间 ， 人 毕竟 停 服 就 意味 着 金钱 的 损失 。 


重新 索引 


第 一 个 选择 就 是 删除 昌 的 索引 ， 然 后 创建 有 更 多 分 片 的 索引 。 这 是 最 简单 解决 办 法 ， 但 
是 在 重新 索引 期 间 服 务 不 可 用 。 在 本 例 中 ， 准 备用 于 添加 到 索引 数据 是 一 个 耗 时 的 过 程 ， 而 
且 从 数据 库 中 导入 数据 用 的 时 间 也 很 长 。 公 司 的 经 营 者 说 在 整个 重新 索引 数据 期 间 停止 服务 
是 不 可 行 的 。 第 二 个 想法 是 创建 第 二 个 索引 ， 并 且 添 加 数据 ， 然 后 把 应 用 接口 调转 到 新 的 索 
引 。 方 案 可 行 ， 但 是 有 个 小 问题 ， 创 建新 的 索引 需要 额外 的 空间 开销 。 当 然 ， 我 们 将 拥有 新 
间 更 大 的 机 器 (我 们 需要 索引 新 的 “大 数据 ")， 但 是 在 得 到 机 器 前 ， 我 们 要 解决 耗 时 的 
任务 。 我 们 决定 寻找 其 它 的 更 简单 的 解决 方案 。 


路 由 


也 许 我 们 的 例子 中 用 routing 解 决 会 很 方便 ? 显而易见 的 收获 就 是 通过 routing 可 以 用 查询 
全 令 只 返回 我 们 数据 集中 的 书籍 ， 或 者 只 返回 属于 合作 伙伴 的 书籍 (因为 routing 人 允许 我 们 只 查 
询 部 分 索引 )。 然 而 ， 我 们 需要 应 用 恰当 的 filtenrouting 不 保证 来 自 两 个 数据 源 的 数据 不 在 同一 
个 分 片上 出 现 。 不 幸 的 是 ， 我 们 的 例子 中 还 有 另 一 个 死胡同 ， 引 入 routing 需 要 进行 重新 索引 
数据 。 因 此 ， 我 们 只 得 把 这 个 解决 方案 扔 到 桌子 边 的 垃圾 桶 里 。 


A 


S% 


多 索引 结构 


让 我 们 从 基本 的 问题 开始 ， 为 什么 我 们 只 需要 一 个 索引 ?为 什么 我 们 要 改变 当前 的 系 
统 。 答 案 是 我 们 想 要 搜索 所 有 的 文档， 确定 它们 是 来 自 于 原始 数据 还 是 和 作 伙 伴 的 数据 。 请 
注意 ElasticSearch 允 许 我 们 直接 搜索 多 个 索引 。 我 们 可 以 通过 API 端 点 使 用 多 个 索引 ， 比 
如 ，/book,partner1/。 我 们 还 有 一 个 灵巧 的 方法 简单 快速 添加 另 一 个 合作 伙伴 ， 无 需 改 变现 有 
集群 ， 也 无 需 停止 服务 。 我 们 可 以 用 过 别名 (aliases) 创 建 虚拟 索引 ,这 样 就 无 需 修改 应 用 的 源 
代码 。 


经 过 头脑 风暴 ， 我 们 决定 选择 最 后 一 个 解决 方案 ， 通 过 一 些 额 外 的 改善 使 得 
ElasticSearch 在 索引 数据 时 压力 不 大 。 我 们 所 做 的 就 是 禁止 集群 的 刷新 率 ， 然 后 删除 分 片 副 
本 ai 


curl -XPUT localhost:9200/booksA_ settings -d '{ "index" : { "refresh\_interval" : -1, 
"number, of\ replicas": 0) Y 


当然 ， 索 引 数 据 后 我 们 变 回 它 原来 的 值 ， 唯 一 的 一 个 问题 就 是 ElasticSearch 不 允许 在 线 
改变 索引 的 名 字 ， 这 导致 在 配置 文件 中 修改 索引 名 称 时 ， 会 使 用 服务 短 时 间 停 止 一 下 。 


在 本 章 ， 我 们 学 到 了 在 部 署 ElasticSearch 集 群 时 如 何 选择 恰当 数量 的 分 片 和 分 片 副本 ; 
也 了 解 了 在 索引 和 搜索 过 程 中 routing 是 如 何 起 作用 的 ; 我 们 也 见识 了 新 的 shard allocator 是 如 
何 起 作用 的 ， 也 清楚 了 如 何 根据 需求 来 配置 它 。 我 们 也 能 够 根据 需求 配置 allocation 
mechanism， 也 学 会 了 如 何 使 用 query execution preference 功 能 来 实现 在 特定 的 节点 上 执行 
特定 的 操作 。 最 后 ， 我 们 用 相关 知识 配置 了 一 个 丨 实 场景 的 集群 ， 并 且 能 够 依据 需求 进行 扩 
展 


在 下 一 章 ， 我 们 将 更 多 地 关注 ElasticSearch 的 配置 选项 : 我 们 将 学 习 如 何 配置 内 存 ， 如 
何 选 择 合适 的 directory。 我 们 将 探 完 Gateway 和 Discover 模 块 的 配置 ， 了 解 为 什么 它 是 如 此 重 
要 。 此 外 ， 我 们 将 学 习 如 何 配置 索引 恢复 功能 ， 了 解 从 Lucene 的 段 文件 中 能 够 得 到 什么 信 
息 。 最 后 将 学 习 ElasticSearch 的 缓存 功能 。 


第 5 章 管理 Elasticsearch 


前 面 的 章节 中 ， 我 们 已 经 学 习 了 如 何 为 我 们 的 应 用 选择 正确 数量 的 分 片 和 分 片 副本 ， 什 
么 是 分 片 的 过 度 分 配 而 且 什 么 时 候 可 以 对 分 片 进行 过 度 分 配 。 我 们 也 深入 讨论 了 routing 机 制 
的 细节 而 且 也 了 解 了 新 引入 的 分 片 分 配器 是 如 何 工 作 的 ， 还 有 我 们 如 何 改 变 它 的 工作 方式 。 
此 外 ， 我 们 也 学 习 了 如 何 指定 查询 命令 执行 的 分 片 。 最 后 ， 我 们 倾 其 所 学 ， 配 置 了 一 个 具有 
容错 和 扩展 功能 的 集群 ， 而 且 掌 握 了 用 户 对 应 规模 扩大 时 ， 集 群 的 扩容 方案 。 到 本 章 结尾 
时 ， 你 将 学 到 如 下 的 知识 点 : 


° 如 何 选择 正确 的 directory 实 现 类 ， 使 得 ElasticSearch 能 够 以 最 高 效 的 方式 接触 到 |/O 
系统 的 底层 。 

° 如 何 配置 Discovery 模 块 来 避免 潜在 的 问题 

° 如 何 配置 Gateway 模 块 来 满足 我 们 的 需求 

° Recovery 模 块 能 够 带 给 我 们 什么 ， 如 何 修 改 它 的 配置 项 

° 如 何 查看 索引 段 文件 信息 

° ElasticSearch 的 缕 存 长 啥 样 ， 它 负责 的 工作 是 什么 ， 怎 么 使 用 它 ， 怎 么 修改 它 的 配 
置 项 ? 


选择 正确 的 directory 实 现 类 一 一 存储 模块 


在 配置 集群 时 ， 数 据 存 储 模块 是 众多 模块 中 不 需要 过 多 关注 的 一 个 模块 ， 但 是 却 是 非常 
重要 的 一 个 模块 。 它 允许 用 户 控制 索引 数据 的 存储 方式 : 持久 化 存储 (在 硬盘 上 ) 或 者 临时 存储 
(在 内 存 中 )。ElasticSearch 中 绝 大 部 分 的 存储 方式 都 会 映射 到 合适 的 Apache Lucene 
Directory £ (http://lucene.apache.org/core/4_5_0/core/org/apache/lucene/store/Directory.html 
)。directory 模 块 用 来 存 取 所 有 索引 文件 ， 因 此 合理 配置 就 显得 变 尤 为 重要 了 。 


存储 类 型 


ElasticSearch 给 用 户 提供 了 4 种 存储 类 型 ， 下 面 看 看 它们 提供 了 什么 特性 以 及 用 户 该 如 何 
使 用 用 这 些 特性 。 


简单 的 文件 系统 存储 


directory 类 对 外 最 简单 的 实现 基于 文件 的 随机 读 写 (Java RandomAccessFile: 
http://docs.oracle.com/javase/7/docs/api/java/io/RandomAccessFile.html ) 映 射 到 Apache 
Lucene 的 
SimpleF SDirectory(http://lucene.apache.org/core/4\_5\_0/core/org/apache/lucene/store/Sim 
pleFSDirectory.html )。 对 于 简单 的 应 用 来 说 ， 这 种 实现 方式 足够 了 。 它 主要 的 瓶颈 是 在 文件 
的 多 线程 存 取 时 性 能 很 差 。 在 ElasticSearch 中 ， 通 常 建议 使 用 基于 新 ID 的 系统 存储 来 替代 简 
单 的 文件 系统 存储 。 只 是 如 果 用 户 希 望 使 用 简单 的 文件 系统 存储 ， 可 以 设置 index.store.type 
属性 值 为 simplefs ° 


新 IO 文件 系统 存储 


这 种 存储 类 型 使 用 的 directory 类 是 基于 java.nio 包 中 的 FileChannel 类 
(http://docs.oracle.com/javase/7/docs/api/java/nio/channels/FileChannel.html ) 实 现 的 ， 该 类 
映射 到 Apache Lucene 的 NIOFSDirectory 类 
(http://lucene.apache.org/core/4\_5\_0/core/org/apache/lucene/store/NIOF SDirectory.html ). 
这 种 实现 方式 使 得 多 个 线程 同时 读 写 文件 时 不 会 出 现 性 能 下 降 的 问题 。 通 过 设置 
index.store.type 属 性 值 为 niofs 使 用 该 存储 类 型 。 


[ ”需要 记 住 的 是 由 于 Microsoft Windows 操 作 上 的 JVM 虚 拟 机 有 一 些 bug， 新 |O 文 | 
NA 系统 存储 代码 运行 在 Windows 上 时 很 有 可 能 会 出 现 一 些 性 能 问题 。bug 相 关 
的 信息 可 以 参考 (http://bugs.sun.com/bugdatabase/view\_bug.do? 

MMARI i ) 

这 种 存储 类 型 使 用 Apache Lucene MMapDirectory 实 现 类 
(http://lucene.apache.org/core/4V 5\ O/core/orog/apache/lucene/store/MMapDirectory.html ) ° 
它 使 用 mmap 系 统 调 用 ((http:Wen.wikipedia.org/wiki/Mmap ) 来 读 取 和 随机 方式 完成 写 文件 操 
作 。 在 进程 中 ， 它 将 文件 映射 到 相同 尺寸 的 庶 拟 内 存 地 址 空间 中 。 由 于 没有 任何 的 锁 操 作 ， 


多 线程 存 取 索引 文件 时 就 程序 就 具有 可 伸缩 性 了 (可 伸缩 性 是 指 当 增加 计算 资源 时 ， 程 序 的 知 
吐 量 或 者 处 理 能 力 相应 的 增加 ) 。 当 我 们 使 用 mmap 读 取 索 引文 件 ， 在 操作 系统 看 来 ， 该 文件 
已 经 被 缓存 (文件 会 被 映射 到 虚拟 内 存 中 ) 。 基 于 这 个 原因 ， 从 Lucene 索 引 中 读 取 一 个 文件 

时 ， 文 件 不 必 加 载 到 操作 系统 的 缓存 中 ， 读 取 速 度 就 会 快 一 些 。 这 基本 上 就 是 允许 Lucene ° 
也 就 是 ElasticSearch 直 接 操作 IO 缓存 ， 索 引文 件 的 存 取 当 然 会 快 很 多 。 值 得 一 提 的 事 ， 
MMap 文 件 系 统 存 储 最 好 应 用 在 64- 位 操作 系统 环境 中 ， 如 果 要 用 在 32- 位 的 操作 系统 环境 中 ， 
必须 确保 索引 足够 小 ， 而 且 庶 拟 内 存 空间 足够 。 用 户 可 以 通过 设置 index.store.type 属 性 值 为 
mmapfs 来 使 用 该 存储 类 型 。 


内 存 存储 


这 种 存储 类 型 是 几 种 类 型 中 唯一 不 基于 Apache Lucene directory 实 现 的 (当然 也 可 以 用 
Lucene 的 RAMDirectory 类 来 实现 )。 内 存 存储 类 型 允许 用 户 直接 把 索引 数据 存储 到 内 存 中 ， 所 
以 硬盘 上 不 会 存储 索引 数据 。 记 住 这 一 点 至 关 重 要 ， 因 为 这 意味 着 数据 并 没有 持久 化 : 只 要 
整个 集群 重启 ， 数 据 就 会 丢失 。 然 而 ， 如 果 你 的 应 用 需要 一 个 微型 的 、 存 取 快 速 的 ， 能 有 多 

个 片 分 和 分 片 副 本 的 而 且 重 建 过 程 很 快 的 索引 ， 内 存 存储 类 型 可 能 是 你 需要 的 。 把 
index.store.type 属 性 值 设 置 为 nemeory 即 可 使 用 该 存储 类 型 。 


[< 存储 在 内 存 中 的 索引 数据 ， 与 其 它 | 
Sea 留 分 片 副 本 。 
其 它 的 属性 


一 旦 使 用 内 存 存储 类 型 ， 对 缓存 有 一 定 程度 的 控制 ， 属性 非常 重要 。 请 记 住 
每 个 节点 都 需要 设置 如 下 的 属性 


° cache.memory.direct: 该 属性 的 默认 值 为 true。 如 果 想 要 把 内 存 的 存储 空间 分 配 在 
JVM 堆 内 存 之 外 ， 就 需要 设 定 该 值 。 一 般 来 说 ， 保留 其 默认 值 是 个 不 错 的 选择 ， 这 样 能 
避免 堆 内 存 出 现 过 载 情况 。 

° cache.memory.smallV bufferV size: 该 属性 的 默认 值 为 1KB, 内 部 存储 结构 用 来 存储 索 
引 段 信息 和 删除 文档 的 相关 信息 . 

° cache.memory.large\_buffen_size: 该 属性 的 默认 值 为 1MB， 内 部 存储 结构 用 来 存储 
除 段 信息 和 删除 文档 信息 之 外 的 其 它 信 息 。 


° cache.memory.small\_cache\_size: 内 部 内 存 结构 用 来 缓存 索引 上 段 信息 和 删除 文档 信 
息 ， 默 认 值 是 10MB ° 
° cache.memory.large\_cache\_size: 内 部 内 存 结构 用 来 缓存 除 索引 段 信息 和 删除 文档 


信息 之 外 的 其 它 信息 ， 默 认 值 是 500MB ° 


默认 存储 类 型 


默认 情况 下 ，ElasticSearch 会 使 用 基于 文件 系统 的 存储 。 尽 管 不 同 的 存储 类 型 用 于 不 同 
的 操作 系统 ， 被 选 定 的 存储 类 型 依然 基于 文件 系统 。 比 如 ，simplefs 类 用 于 32- 位 的 windows 
操作 系统 ; mmapfs 用 于 Solaris 操 作 系统 和 64- 位 的 windows 操 作 系统 ，niofs 用 于 其 它 的 操作 


。 如 果 和 希望 寻找 来 自 专家 对 directory 实现 方式 使 用 场景 的 看 法 ， 请 参考 : Uwe 
S Schindler 5 的 http://blog.thetaphi.de/2012/07/use-lucenes-mmapdirectory-on- 
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时 ， 会 导致 索引 文件 缓存 到 操作 系统 的 缓存 中 ， 能 同时 被 Apache Lucene 和 操作 系统 重复 使 


用 ° 


节点 发 现 模块 的 配置 


我 们 已 经 多 次 提 到 ，ElasticSearch 创 建 的 目的 就 是 对 应 集群 工作 环境 。 这 是 跟 与 
ElasticSearch 功 能 类 似 的 其 它 开源 解决 方案 (比如 solr) 主 要 的 不 同 点 。 其 它 解 决 方案 也 许 同 样 
能 或 难 或 易 地 应 用 于 多 节点 的 分 布 式 环境 ， 但 是 对 对 于 ElasticSearch 来 说 ， 工 作 在 分 布 式 环 
境 就 是 它 每 天 的 生活 。 由 于 节点 发 现 机 制 ， 它 最 大 程度 简化 了 集群 的 安装 和 配置 。 


该 发 现 机 制 主要 基于 以 下 假设 : 集群 由 clustername 设 置 项 相同 的 节点 自动 连接 而 成 。 
这 就 允许 了 同一 个 网 段 中 存在 多 个 独立 的 集群 。 自 动 发 现 机 制 的 缺点 在 于 : 如 果 有 人 忘记 改 
变 clustername 的 设置 项 ， 无 意 中 连 接 到 其 它 的 某 个 集群 。 在 这 种 情况 下 ，ElasticSearch 可 能 
出 于 重新 平衡 集群 状态 的 考虑 ， 将 一 些 数据 移动 到 了 新 加 入 的 节点 。 当 该 节点 被 关闭 ， 节 点 
所 在 的 集群 中 会 有 部 分 数据 像 出 现 魔法 一 样 凭空 消失 。 


Zen 发 现 机 制 


Zen 发 现 机 制 是 ElasticSearch 中 默认 的 用 来 发 现 新 节点 的 功能 模块 ， 而 且 集 群 启动 后 默 
认 生 效 。Zen 发 现 机 制 默 认 配 置 是 用 多 播 来 寻找 其 它 的 节点 。 对 于 用 户 而 言 ， 这 是 一 极其 省 事 
的 解决 方案 : 只 需 启 动 新 的 ElasticSearch 节 点 即 可 ， 如 果 各 个 模块 工作 正常 ， 该 节点 就 会 自 
动 添 加 到 与 节点 中 集群 名 字 (cluster.name) 一 样 的 集群 ， 同 时 其 它 的 节点 都 能 感知 到 新 节点 的 
加 入 。 如 果 节 点 添加 不 进去 ， 你 就 应 该 检查 节点 的 publish_host 属 性 或 者 host 属 性 的 设置 ， 来 
确保 ElasticSearch 在 监听 合适 的 网 络 端口 。 


有 时 由 于 某 些 原因 ， 多 播 无 法 使 用 或 者 由 于 前 面 提 到 的 一 些 原因 ， 你 不 想 使 用 它 。 在 比 
较 大 的 集群 中 ， 多 播发 现 机 制 可 能 会 产生 太 多 不 必要 的 流量 开销 ， 这 是 不 使 用 多 播 的 一 个 充 
分 理由 。 在 这 种 情况 下 ，Zen 发 现 机 制 引 入 了 第 二 种 发 现 节点 的 方法 : 单 播 模式 。 让 我 们 在 这 
个 知识 点 上 停留 一 段 时 间 ， 了 解 这 些 模式 的 配置 相关 知识 。 


[ ， 如 果 想 知道 关于 单 播 和 多 播 ping 方 法 更 多 的 不 同 点 ， 请 参 ] 
en dar 


http://en.wikipedia.org/wiki/Unicast. 
多 播 
前 面 已 经 提 到 ， 这 是 默认 的 网 络 传输 模式 。 当 节点 并 非 集群 的 一 部 分 时 (比如 节点 只 是 刚 
刚 启 动 或 者 重启 )， 它 会 发 送 一 个 多 播 的 ping 请 求 到 网 段 中 ， 该 请 求 只 是 用 来 通知 所 有 能 连接 
到 节点 和 集群 它 已 经 准备 好 加 入 到 集群 中 。 关 于 多 播发 送 ，Zen 发 现 模块 暴露 出 如 下 的 设置 
项 ; 


° discovery.zen.ping.multicast.address( 默 认 是 所 有 的 网 络 接口 ): 属 性 值 是 接口 的 地 址 
或 者 名 称 。 

° discovery.zen.ping.multicast.port( 默 认 是 54328): 端 口 用 于 网 络 通信 。 

° discovery.zen.ping.multicast.group( 默 认 是 :224.2.2.4): 代 表 多 播 通信 的 消息 接收 地 。 

° discovery.zen.ping.multicast.buffe\_size( RU 2£:2048byte): 


° discovery.zen.ping.multicast.ttl( 默 认 是 3): 它 代表 多 播 信息 的 生存 时 间 。 只 要 数据 包 
通过 的 路 由 ，TTL 值 就 废弃 了 “。 通 过 该 参数 可 以 限制 信息 接收 的 区 域 。 注 意 路 由 器 可 以 指 
定 一 个 类 似 于 TTL 值 的 阅 值 来 确保 TTL 值 并 非 唯 一 可 以 限制 数据 包 可 以 跳 过 路 由 器 的 
£= ° 

° discovery.zen.ping.multicast.enabled( 默 认 值 为 true): 设 置 该 属性 和 值 的 值 为 false 就 关 
闭 了 多 播 传输 。 如 果 计 划 使 用 单 播 传输 ， 就 应 该 关闭 多 播 传输 。 


单 播 

当 像 前 面 描述 的 那样 关闭 多 播 ， 就 可 以 安全 地 使 用 单 播 。 当 节点 不 是 集群 的 一 部 分 时 ( 比 
如 节点 重启 ， 启 动 或 者 由 于 某 些 错误 从 集群 中 断 开 )， 节 点 会 发 送 一 个 ping 请 求 到 事先 设置 好 
的 地 址 中 ， 来 通知 集群 它 已 经 准备 好 加 入 到 集群 中 了 。 相 关 的 配置 项 很 简单 ， 如 下 : 


° discovery.zen.ping.unicats.hosts: 该 配置 项 代表 集群 中 初始 结 点 的 主机 列表 。 每 个 主 
机 由 名 字 ( 或 者 IP 地 址 ) 加 端口 或 者 端口 范围 组 成 。 比 如 ， 该 属性 值 可 以 是 如 下 的 写法 : 
["master1","master2:8181", "master3[80000-81000]"] ， 因 此 用 于 单 播 节点 发 现 的 主机 列 
表 基 本 上 不 必 是 集群 中 的 所 有 节点 ， 因 为 一 个 节点 一 旦 连接 到 集群 中 的 一 个 节点 ， 这 个 
连接 信息 就 会 发 送 集群 中 其 它 所 有 的 节点 。 

° discovery.zen.ping.unicats.concurrent\_connects( 默 认 值 : 10): 该 属性 指定 节点 发 现 
模块 能 够 开启 的 单 播 最 大 并 发 连接 数 。 


主 节 点 候选 节点 个 数 的 最 小 化 


对 于 节点 发 现 模块 来 说 ，discovery.zen.minimum\ master\_nodes 无 疑 是 最 重要 的 一 个 属 
性 。 该 属性 允许 用 户 设置 集群 选举 时 主 节 点 的 候选 节点 数 ， 该 数值 是 组 建 集群 所 必须 的 。 该 
属性 存在 的 意义 就 是 解决 集群 的 裂 脑 现 象 。 由 于 某 些 故障 (比如 网 络 故障 )， 网 络 中 原来 的 集群 
分 成 了 多 个 部 分 ， 每 个 部 分 的 集群 名 字 都 相同 ， 这 种 现象 就 是 集群 的 裂 脑 现象 。 你 可 以 想象 
两 个 同名 的 集群 (本 应 该 是 一 个 ) 索 引 着 不 同 的 数据 ， 很 容易 就 会 出 现 问题 。 因 此 ， 专 家 建议 使 
用 discovery.zen.minimum\_mastem_nodes 必 性， 并且 该 属性 值 的 下 限 是 集群 节点 总 数 的 
50%+1。 比如 ， 如 果 你 们 集群 有 9 个 节点 ， 所 有 的 节点 都 可 以 作为 主 结 点 ， 我 们 就 需要 设置 
discovery.zen.minimum\_master\_nodes 属 性 值 为 5。 即 集群 中 至 少 要 有 5 个 符合 选举 条 件 的 节 
点 ， 才 能 够 选择 出 一 个 主 节点 。 


Zen 发 现 机 制 的 故障 检测 


ElasticSearch 运 行 时 会 启动 两 个 探测 进程 。 一 个 进程 用 于 从 主 节 点 向 集群 中 其 它 节点 发 
送 ping 请 求 来 检测 节点 是 否 正常 可 用 。 另 一 个 进程 的 工作 反 过 来 了 ， 其 它 的 节点 向 主 节点 发 送 
ping 请 求 来 验证 主 节 点 是 否 正常 且 忠 于 职守 。 但 是 ， 如 果 我 们 的 网 络 很 慢 或 者 节点 分 布 在 不 同 
的 主机 ， 默 认 的 配置 可 能 显得 力不从心 。 因 此 ，ElasticSearch 的 节点 发 现 模块 开放 出 了 如 下 
的 属性 : 


° discovery.zen.fd.ping_interval: 该 属性 的 默认 值 是 1s, 指 定 了 本 节点 隔 多 久 向 目标 结 点 
发 送 一 次 ping 请 求 。 


° discovery.zen.fd.ping_timeout: 该 属性 的 默认 值 是 30s, 指 定 了 节点 等 待 ping 请 求 的 回 
复 时 间 。 如 果 节 点 百 分 百 可 用 或 者 网 络 比较 慢 ， 可 能 就 需要 增加 该 属性 值 。 

° discovery.zen.fd.ping_retries: 该 属性 值 默 认为 3， 指 定 了 在 目标 节点 被 认定 不 可 用 之 
前 ping 请 求 重 试 的 次 数 。 用 户 可 以 在 网 络 丢 包 比较 严重 的 网 络 状 况 下 增加 该 属性 值 (或 者 
修复 网 络 状况 ) ° 


Amazon EC2 discovery 


关于 Amazon EC2 discovery 相 关内 容 暂 时 不 翻译 


本 地 Gateway 


Rá # ElasticSearch 0.20 版 本 发 布 (有 些 在 0.19 版 本 中 )， 除 默认 的 local 类 型 外 ， 其 它 所 有 
的 gateway 类 型 ， 都 将 废弃 并 且 不 建议 用 户 使 用 ， 因 为 在 未 来 的 ElasticSearch 版 本 中 ， 这 些 类 
型 将 被 移 除 。 如 果 想 避免 出 现 整个 数据 集 重 新 索引 的 情况 ， 用 户 应 该 只 使 用 local 类 型 的 
gateway， 这 也 是 我 们 为 什么 不 探讨 所 有 其 它 类 型 gateway 的 原因 。 local 类 型 的 gateway 使 用 
本 机 硬盘 存储 节点 上 的 元 数据 、mappings 数 据 、 索 引 数 据 。 为 了 能 够 使 用 这 种 gateway 类 
型 ， 需 要 服务 器 的 硬盘 有 足够 的 空间 在 不 使 用 内 存 缓存 的 情况 下 存储 所 有 数据 。local 类 型 的 
gateway 持 久 化 数据 的 方式 与 其 它 gateway 有 了 所 不 同 ， 为 了 确保 在 写 数据 的 过 程 中 ， 数 据 不 丢 
失 ， 它 采用 同步 的 方式 来 完成 写 数 据 的 功能 。 


| ， 如 果 想 设置 集群 使 用 的 gateway 类 型 ， 用 户 需要 使 用 gateway.type 必 性， 默认 | 


NS 请 况 下 该 属性 什 为 local 


local 类 型 gateway 的 备份 


ElasticSearch 直 到 0.90.5 版 本 (包括 该 版 本 ) 都 不 支持 存储 在 local 类 型 gateway 中 数据 的 自 
动 备 份 。 然 而 ， 做 数据 备份 是 至 关 重 要 的 ， 比 如 ， 如 果 想 把 集群 升级 到 一 个 比较 新 的 版 本 ， 
如 果 升 级 出 现 了 一 些 问 题 ， 就 需要 回 滚 操作 了 。 为 了 完成 上 述 的 操作 ， 需 要 执行 如 下 的 步 


K : 


° 停止 发 生 在 ElasticSearch 集 群 中 的 数据 索引 操作 (这 可 能 意味 着 停止 rivers 或 者 任何 向 
ElasticSearch 集群 发 送 数据 的 应 用 ) 

° A Flush API 刷 新 所 有 还 没有 提交 的 数据 。 

° 为 集群 中 的 每 一 个 分 片 至 少 创建 一 个 捞 贝 ， 万 一 出 现 问题 ， 也 能 找 回 数据 。 当 然 ， 
如 果 和 希望 尽 可 能 简单 地 解决 问题 ， 也 可 以 复制 整个 集群 中 每 个 节点 的 所 有 数据 作为 备用 
集群 。 
恢复 机 制 的 配置 
我 们 已 经 提 到 可 以 使 用 gateway 来 配置 ElasticSearch 恢 复 过 程 的 行为 ,但 是 除外 之 外 ， 

ElasticSearch 还 允许 用 户 自己 配置 恢复 过 程 。 在 第 4 章 分 布 式 索引 构架 的 改变 分 片 的 默认 分 


配方 式 一 节 中 ， 我 们 已 经 提 到 一 些 恢复 功能 的 配置 ， 但 是 ， 我 们 认为 在 gateway 和 recovery 相 
关 的 章节 中 讨论 这 些 用 到 的 属性 是 最 合适 的 。 


cluster-level 恢复 机 制 的 配置 


绝 大 多 数 恢复 机 制 都 是 定义 在 集群 层面 的 ， 用 户 通过 为 恢复 模块 设置 通用 的 规则 来 控制 


恢复 模块 的 工作 。 这 些 设 置 项 如 下 : 


indices.recovery.concurrent\_streams: 该 属性 的 默认 值 为 3， 表 明 从 数据 源 恢复 分 片 
数据 时 ， 人 允许 同时 打开 的 数据 流通 道 。 该 值 越 大 ， 网 络 层 的 压力 也 就 越 大 ， 同 时 恢复 的 
速度 也 就 越 快 ， 当 然 恢 复 速度 与 网 络 使 用 量 和 总 的 吞吐 量 也 有 关系 。 


indices.recovery.maxV bytesV per\ sec: 该 属性 默认 设置 为 20MB， 表 示 分 片 在 恢复 
过 程 中 每 秒 传输 的 最 大 数据 量 。 要 想 关闭 传输 量 的 限制 ， 用 户 需 要 设置 该 属性 值 为 0。 与 
并 发 流 的 功能 相似 ， 该 属性 允许 用 户 在 恢复 过 程 中 控制 网 络 的 流量 。 设 置 该 属性 一 个 比 
较 大 的 值 会 导致 网 络 变 得 繁忙 ， 当 然 恢 复 过 程 也 会 加 快 。 


indices.recovery.compress: 该 属性 值 默认 为 true， 人 允许 用 户 自 行 决定 在 恢复 过 程 是 否 
对 数据 进行 压缩 。 设 置 该 属性 值 为 false 可 以 降低 CPU 的 压力 ， 与 此 同时 ， 会 导致 网 络 需 
要 传输 更 多 的 数据 。 


indices.recovery.file\_chunk\_size: 该 属性 值 指定 了 用 于 从 源 数 据 复 制 到 分 片 时 ， 每 
次 复制 的 数据 块 的 大 小 。 默 认 值 是 512KB, 同 时 如 果 indices.recovery.compress 属 性 设置 
为 true， 数 据 会 被 压缩 。 


indices.recovery.translog\_ops: 该 属性 值 默 认为 1000， 指 定 了 在 恢复 过 程 中 ， 单 个 请 
求 中 分 片 间 传 输 的 事务 日 志 的 行 数 。 


indices.recovery.translog\ size: 该 属性 指定 了 从 源 数 据 分 片 复 制 事务 日 志 数 据 时 每 


次 处 理 的 数据 块 的 大 小 。 软 认 值 为 512KB， 同 时 如 果 如 果 indices.recovery.compress 属 性 
设置 为 true， 数 据 会 被 压缩 。 


在 ElasticSearch 0.90.0 版 本 前 ， 曾 用 到 indices.recovery.max\_size\ per\ sec 


[Se ， 但 是 在 随后 的 版 本 中 ， 该 属性 值 被 废弃 了 ， 由 
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”前 的 ElasticSearch ， 还 是 有 必要 记 住 这 个 属性 。 
index-level 恢复 机 制 的 配置 


除了 前 面 提 到 的 属性 ， 还 有 一 个 可 以 作用 于 单个 索引 的 属性 。 该 属性 可 以 在 


elasticsearch.yml 文 件 中 设置 ， 也 可 以 用 索引 更 新 的 AP| 来 设置 ， 它 是 
index.recovery.initial\_shards。 通 常情 况 下 ， 当 集群 中 还 存在 着 不 低 于 quorum 数 量 的 分 片 ， 
并 且 这 些 分 片 都 可 进行 分 配 时 ，ElasticSearch 只 会 恢复 一 个 特殊 的 分 片 。quorum 数 量 是 指 总 
的 分 片 数 量 加 一 。 通 过 使 用 index.recovery.initial\_shards 属 性 时 ， 用 户 可 以 改变 ElasticSearch 
中 quorum 的 实际 分 片 数 量 。 该 属性 可 设置 如 下 值 : 


° quorum: 该 值 意味 着 集群 中 至 少 有 (分 片 总 数 的 50%+1) 个 分 片 存在 并 且 可 分 配 。 

° quorum-1: 该 值 意味 着 集群 中 至 少 有 (分 片 总 数 的 50%-1) 个 分 片 存 在 并 且 可 分 配 。 

° full: 该 值 意味 着 集群 中 所 有 的 分 片 都 必须 存在 并 且 可 分 配 。 

° full-1: 该 值 意味 着 集群 中 至 少 有 (分 片 总 数 -1) 个 分 片 必 须 存在 并 且 可 分 配 。 

。 整数 值 :表示 可 设置 为 任意 的 整数 值 ， 比 如 1,2 或 者 5， 表 示 至 少 需要 存在 且 可 分 配 的 
分 片 数 。 比 如 ， 属 性 值 为 2， 表 示 最 少 需要 2 个 分 片 存在 ， 同 时 ElasticSearch 中 至 少 需要 2 
个 分 片 可 分 配 。 


了 解 该 属性 值 的 作用 总 会 有 用 上 的 一 天 ， 尽 管 在 绝 大 多 数 场景 中 使 用 默认 值 就 足够 了 。 


索引 段 数据 的 统计 


在 第 3 章 索引 底层 控制 中 控制 段 合并 一 节 中 ， 我 们 探讨 了 调整 Apache Lucene £ 3| Z 
并 过 程 来 满足 业务 需求 的 可 能 性 。 此 外 ， 在 第 6 章 应 对 突 发 事件 的 当 WO 过 于 繁忙 一 “ 节 流 功 
能 详解 一 节 中 ， 我 们 将 讨论 更 多 功能 的 参数 配置 。 然 而 ， 为 了 了 解 需要 调整 哪些 方面 ， 至 少 
先 得 看 看 索引 或 者 索引 分 片 中 索引 段 的 结构 。 


段 操 作 相 关 的 API 介 绍 


为 了 更 深入 地 了 解 Lucene 的 索引 段 ，ElasticSearch 提 供 了 段 操作 相关 的 API， 通 过 在 执 
行 的 HTTP GET 请 求 中 附带 \segments REST 端 点 ， 就 可 以 调用 相关 的 API 了 。 比 如 ， 我 们 想 
了 解 集群 分 片 中 的 所 有 的 段 信 息 ， 可 以 执行 如 下 的 命令 : 


curl -XGET 'localhost:9200/ segments' 


如 果 想 查看 mastering 索 引 的 段 信 息 ， 就 应 该 执行 如 下 的 命令 : 
curl -XGET 'localhost:9200/mastering/_segments' 


我 们 也 可 以 同时 查看 多 个 索引 的 段 信息 ， 通 过 如 下 的 命令 即 可 : 
curl -XGET 'localhost:9200/mastering,books/ segments' 


返回 信息 


调用 segments API 的 返回 信息 都 是 基于 分 片 的 。 这 是 因为 我 们 的 索引 都 是 由 一 个 或 多 个 
分 片 (以 及 分 片 副 本 ) 组 成 ， 而 且 众 所 周知 每 个 分 片 都 是 一 个 完整 的 Apache Lucene 的 物理 索 
引 。 我 们 假定 我 们 有 一 个 名 为 mastering 的 索引 ， 而 且 索 引 中 有 一 些 文 档 。 在 索引 创建 时 ， 我 
们 已 经 指定 索引 由 单个 分 片 构 成 ， 而 且 没有 分 片 副本 : 由 于 只 是 用 于 测试 的 索引 ， 这 样 做 没 
有 什么 问题 。 我 们 来 看 一 下 ， 执 行 如 下 的 命令 后 ， 索 引 上 段 信息 会 是 什么 样 : 


curl -XGET 'localhost:9200/_segments?pretty' 


返回 的 JSON 格 式 信息 如 下 (有 部 分 删 减 ) : 

"ok" : true, "_shards" : { "total" : 1, "successful" : 1, "failed" : O }, "indices" : í 
"mastring" : { "shards" : { "0" : [ ( "routing" : { "state" : "STARTED", "primary" : true, 
"node" : "Cz4RFYP5RnudkXzSwe-WGw'" }, "num\_committed\_segments" : 1, 

"Num\ search\ segments" : 8, "segments" : { "_0" : { "generation" : 0, "num_docs" : 62, 

"deleted_docs" : 0, "size" : "5.7kb", "size\_in\_bytes" : 5842, "committed" : true, "search" 
: true, "version" : "4.3", "compound" : false }, ... "_7" : { "generation" : 7, "num_docs" : 1, 
"deleted_docs" : 0, "size" : "1.4kb", "size\ in_bytes" : 1482, "committed" : false, "search" 


: true, "version" : "4.3", "compound" : false }}}]}}}} 


我 们 可 以 看 到 ，ElasticSearch 返 回 了 大 量 可 供 分 析 的 信息 。 最 顶层 的 息 是 索引 名 称 和 和 
分 片 。 在 本 例 中 ， 通 过 返回 信息 可 以 看 到 ， 我 们 有 一 个 编号 为 0 的 分 片 ， 该 分 片 已 经 启动 而 且 


正在 运行 ("state" : "STARTED" )， 该 分 片 是 一 个 主 分 片 ("primary" : true) ,该 分 片 位 ~ 
Cz4RFYP5RnudkXzSwe-WGw 的 节点 上 。 接 下 来 的 信息 是 关于 已 提交 段 的 数量 ( 通 
num\_commited\_segments 属 性 ) 和 搜索 段 的 数量 (num\_search\_ segments 属 性 )。 
表示 该 段 上 面 运行 了 一 个 提交 的 命令 ， 即 段 数据 已 经 持久 化 到 硬盘 ， 而 且 是 只 读 的 了 。 搜 索 
段 即 可 用 于 搜索 的 段 。 接 下 来 是 一 系列 的 段 信息 ， 每 个 段 中 包含 的 信息 如 下 : 

° number: 该 属性 为 段 指 定 了 一 个 编号 ， 作 为 多 个 段 分 组 时 得 到 的 JSON 对 象 的 名 称 。 
(比如 ，\0\_1, 等 等 ) 

° generation: 该 属性 指定 的 段 在 索引 中 属于 第 几 代 ， 用 一 个 整数 来 表示 段 的 “老年 化 " 程 
度 。 比 如 ， 第 一 个 创建 的 段 就 是 第 0 代 ， 随 后 创建 的 段 就 是 第 1 代 ， 以 此 类 推 。 

° num_docs: 该 属性 表明 该 段 中 索引 的 文档 数 。 

° deleted docs: 该 属性 表示 该 段 中 被 标记 为 删除 的 文档 数 。 这 些 标 记 为 删除 的 文档 将 
ERAH 69 BAS 4k 8 IE hb p| B 。 

° size: 该 属性 表明 段 在 硬盘 上 占用 的 空间 大 小 。 

° size\_in\_bytes: 该 属性 表明 段 的 大 小 用 byte 来 表示 时 的 数值 。 

° committed: 如 果 段 已 经 提交 ， 则 该 属性 值 为 true ; 否则 该 属性 值 为 false. 

° search: 该 属性 表示 可 搜索 段 的 个 数 。 

° version: 该 属性 表示 创建 索引 时 使 用 的 Lucene 的 版 本 。 边 注 : 尽管 每 个 特定 版 本 的 
ElasticSearch 都 只 使 用 特定 版 本 的 Lucene， 但 是 也 是 可 能 发 生 不 同 的 索引 段 由 不 同 的 
Lucene 版 本 创建 这 一 情况 。 像 升级 ElasticSearch 版 本 ， 而 且 正 好 两 个 版 本 的 
ElasticSearch 使 用 了 不 同 版 本 的 Lucene 时 ， 就 会 出 现 上 面 的 情况 。 面 对 这 种 情况 ， 昌 版 
本 的 索引 段 会 在 索引 合并 操作 时 进行 重 写 操作 。 

° compound: 该 属性 指定 了 段 的 格式 是 否 是 组 合 的 (所 有 的 段 信息 都 存储 在 一 个 文件 ) 


已 提交 上段 


段 信息 可 视 化 


当 看 到 segments API 返 回 的 JSON 格 式 的 文本 信息 时 ， 我 们 大 脑 中 冒 出 的 第 一 个 想法 可 能 
是 : 如 果 信 息 是 可 视 化 的 ， 那 就 很 直观 明了 了 。 如 果 想 实现 这 种 想法 ， 随 时 可 以 自己 去 做 。 
现在 已 经 有 一 个 现成 的 名 为 SegmentSpy 的 插件 (https://github.com/polyfractal/elasticsearch- 
segmentspy ) 利 用 我 们 前 面 提 到 的 API 实 现 了 段 信息 的 可 视 化 功能 。 


安装 该 插件 后 ， 将 Web 浏 览 器 指向 到 http://localhost:9200/_plugin/segmentspy/ ， 然 后 选 
择 目 标 索 引 ， 我 们 就 可 以 看 到 类 似 如 下 的 屏幕 截图 


Node: Cz4RFYP5RnudkXzSwe-WGw 


J 1 2 4 g 





正如 读者 所 见 ， 该 插件 将 segments API 返 回 的 信息 进行 了 可 视 化 的 操作 ， 这 样 的 话 想 查 
看 段 信 息 时 就 能 够 用 得 上 了 。 只 是 该 插件 没有 解析 ElasticSearch 返 回 的 JSON 对 象 中 的 所 有 信 


理解 ElasticSearch 缕 存 


缓存 对 于 已 经 配置 好 且 正 常 工作 的 集群 来 说 不 过 过 多 关注 (这 一 条 不 仅 适用 于 
ElasticSearch)。 缓 存在 ElasticSearch 中 扮演 着 重要 的 角色 。 通 过 缓存 用 户 可 以 高 效 地 存储 过 
滤器 的 数据 并 且 重 复 使 用 这 些 数据 ， 比 如 高 效 地 处 理 父 子 关 系数 据 、faceting、 对 数据 以 索引 
中 茶 个 域 来 排序 等 等 。 在 本 节 中 ， 我 们 将 详细 研究 filter cache 和 field H cache 这 些 最 重要 的 
缓存 ， 而 且 我 们 将 会 意识 到 理解 缓存 的 工作 原理 对 于 集群 的 调 优 非常 


过 滤器 缓存 是 负责 缓存 查询 语句 中 过 滤器 的 结果 数据 。 比 如 ， 让 我 们 来 看 如 下 的 查询 语 


{ "query" : { "filtered" : { "query" : { "match all" : {} }, "filter" : { "term" : { "category" : 
"romance" } } } }} 


执行 该 查询 语句 将 返回 所 有 category 域 中 含有 term 值 为 romcance 的 文档 。 正 如 读 s f 
到 的 那样 ， 我 们 将 match_all 查 询 类 型 与 过 滤器 结合 使 用 。 现 在 ， 执 行 一 次 查询 语句 后 
有 同样 过 滤 条 件 的 查询 语句 都 会 重复 使 用 缓存 中 的 数据 ， WE 


过 滤器 缓存 的 类 型 


在 ElasticSearch 中 过 滤器 缓存 有 两 种 类 型 : 索引 级 别 和 节点 层面 级 别 的 缓存 。 所 以 基本 

上 我 们 自己 就 可 以 配置 过 滤器 缓存 依赖 于 茶 个 索引 或 者 一 个 节点 (节点 是 默认 设置 )。 由 于 我 们 

无 法 时 时 刻 刻 来 猿 测 具 体 的 某 个 索引 会 分 配 到 哪个 地 方 (实际 上 分 配 的 是 分 片 和 分 片 副本 )， 也 
就 无 法 预测 内 存 的 使 用 ， 因 此 不 建议 使 用 基于 索引 的 过 滤器 。 


index-level 过 滤器 缓存 的 配置 
ElasticSearch 人 允许 用 户 使 用 如 下 的 属性 来 配置 index-level 过 滤器 缓存 的 行为 : 


° index.cache.filter.type: 该 属性 用 于 指定 缓存 的 类 型 ， 有 resident,soft 和 weak ° 
node( 默 认 值 )4 个 值 可 供 选择 。 对 于 resident 类 型 的 缓存 ，JVM 无 法 删除 其 中 的 缓存 项 ， 
除非 用 户 来 删除 (通过 APl, 设 置 缓存 的 最 大 容量 及 失效 时 间 都 可 以 对 缓存 项 进行 删除 )。 推 
荐 使 用 该 缓存 类 型 (因为 填充 过 滤器 缓存 开销 很 大 )。soft 和 weak 类 型 的 缓存 能 够 在 内 存 不 
足 时 ， 由 JVM 自 动 清除 。 当 JVM 清 理 缓存 时 ， 其 操作 会 根据 缓存 类 型 而 有 所 不 同 。 它 会 
首先 清理 引用 比较 弱 的 缓存 项 ， 然 后 才 会 是 使 用 软 引 用 的 缓存 项 。node 属 性 表示 缓存 将 
在 节点 层面 进行 控制 (参考 本 章 的 Node-level 过 滤器 缓存 配置 一 节 的 内 容 ) 

° index.cache.filter.maxV size: 该 属性 指定 了 缓存 可 以 存储 缓存 项 的 数量 (默认 值 
是 -1， 表 示 数 量 没 有 限制 )。 读 者 需要 记 住 ， 该 设置 项 不 适用 于 整个 索引 ， 只 适用 于 索引 
分 片上 的 一 个 段 。 所 以 缓存 的 内 存 使 用 量 会 因 索 引 中 分 片 (以 及 分 片 副本 ) 的 数量 ， 还 有 索 
引 中 段 的 数量 的 不 同 而 不 同 。 通 常情 况 下 ， 默 认 没 有 容量 限制 的 缓存 适用 于 soft 类 型 和 至 


力 于 缓存 重用 的 特定 查询 类 型 。 

° index.cache.filter.expire: 1 É t 48 Z f ARRAZA *P & 5 *ñ 69 K 2k BJ || > SRA 28 k Z 
TRA v LAB t 2-1) ° RAZA AAAA FRATRA” RANER 
大 时 间 。 比 如 ， 如 果 硕 望 缓存 项 在 60 分 钟 类 没有 命中 就 失效 ， 设 置 该 属性 值 为 60m 即 
可 。 


” 想 了 解 更 多 关于 软 引 用 和 虚 引 用 相关 的 内 容 ， 可 以 参考 Java Document， 特 别 
NW 以 下 两 类 : 
| http://docs.oracle.com/javase/7/docs/api/java/lang/ref/SoftReference.html 和 


http://docs.oracle.com/javase/7/docs/api/java/lang/ref/WeakReference.html. 
Node-level 过 滤器 缓存 的 配置 


让 缓存 作用 于 节点 上 ， 是 ElasticSearch 黑 认 和 推荐 的 设置 。 对 于 特定 节点 的 所 有 分 片 ， 
该 设置 都 已 经 默认 生效 (设置 index.chache.filtertype 属 性 值 为 node, 或 者 对 此 不 作 任何 设置 ) ° 
ElsticSearch 人 允许 用 户 通过 indices.cache.filter.size 属 性 来 配置 缓存 的 大 小 。 用 户 可 以 使 用 百 分 
数 ， 比 如 20%( 黑 认 设置 ) 或 者 具体 的 值 ， 比 如 1024mb 来 指定 缓存 的 大 小 。 如 果 使 用 百分数 ， 
那么 ElasticSearch 会 基于 节点 的 heap 内 存 值 来 计算 出 实际 的 大 小 。 


node-level 过 滤器 缓存 是 LRU 类 型 的 缓存 (最 近 最 少 使 用 )， 即 需要 移 除 缓 存 项 来 为 新 的 缓 
存 项 腾 出 位 置 时 ， 最 长 时 间 没有 命中 的 缓存 项 将 被 移 除 ° 


域 数据 缓存 


当 查 询 命令 中 用 到 faceting 功 能 或 者 指定 域 排序 功能 时 ， 域 数据 缓存 就 会 用 到 。 使 用 该 缓 
存 时 ，ElasticSearch 所 做 的 就 是 将 指定 域 的 所 有 取 值 加 载 到 内 存 中 ， 通 过 这 一 步 ， 
ElasticSearch 就 可 以 提供 文档 域 快速 取 值 的 功能 。 有 两 点 需要 记 住 : 直接 从 硬盘 上 读 取 时 ， 
域 的 取 值 开销 很 大 ， 这 是 因为 加 载 整 个 域 的 数据 到 内 存 不 仅 需 要 IO 操作 ， 还 需要 CPU 资源 。 


”读者 需要 记 住 ， 对 于 每 个 用 来 进行 faceting 操 作 或 者 排序 操作 的 域 ， 域 的 所 有 
SN 到 值 都 要 加 载 到 内 存 中 : 一 个 Term 都 不 能 放 过 。 这 个 过 程 开销 很 大 ， 特 别 是 对 
于 基数 比较 大 的 域 ， 这 种 域 的 term 对 象 数目 巨大 。 


index-level 过 滤器 缓存 的 配置 


与 index-level 过 滤器 缓存 类 似 ， 我 们 也 可 以 使 用 index-level 域 数据 缓存 ， 但 是 我 们 再 说 一 
次 ， 不 推荐 使 用 index-level 的 缓存 ， 原 因 还 是 一 样 的 : 哪个 分 片 或 者 哪个 索引 分 配 到 哪个 节点 
是 很 难 预测 的 。 因 此 我 们 也 无 法 预测 每 个 索引 使 用 到 的 内 存 有 多 少 ， 这 样 容 易 出 现 内存 溢 出 
问题 。 


然而 ， 如 果 用 户 用 户 熟 知 系统 底层 ， 熟 知 业务 特点 ， 了 解 resident 和 soft 域 数据 缓存 ， 可 
以 将 index.fielddata.cache.type 属 性 值 为 resident 或 者 soft 来 启用 index-level 的 域 数 据 缓存 。 在 
前 面 的 过 滤器 缓存 中 已 经 有 过 描述 ，resident 属 性 的 缓存 无 法 由 JVM 自 动 移 除 ， 除 非 用 户 介 
入 。 如 果 使 用 index-leve| 域 数据 缓存 ， 推 荐 使 用 resident 类 型 。 重 建 域 数据 缓存 开销 巨大 ， 而 
且 会 影响 搜索 性 能 。soft 类 型 的 域 数据 缓存 可 以 在 内 存 不 足 时 由 JVM 自 动 移 除 。 


Node-level 过 滤器 缓存 的 配置 


ElasticSearch 0.90.0 版 本 允许 用 户 使 用 使 用 如 下 属性 来 设置 node-level 域 数据 缓存 ， 如 果 
用 户 没 有 修改 配置 ，node-level 域 数据 缓存 是 默认 的 类 型 。 


° indices.fielddata.cache.size: 该 属性 有 来 指定 域 数 据 缓 存 的 大 小 ， 可 以 使 用 百分数 比 
如 20% 或 者 具体 的 数值 ， 比 如 10gb。 如 果 使 用 百分数 ，ElasticSearch 会 根据 节点 的 最 大 
堆 内 存 值 (heap memory) 将 百分数 换算 成 具体 的 数值 。 默 认 情 况 下 ， 域 数据 缓存 的 大 小 是 
没有 限制 的 。 

° indices.fielddata.cache.expire: 该 属性 用 来 设置 域 数 据 缓存 中 缓存 项 的 失效 时 间 ， 默 
认 值 是 -1， 表 示 缓 存 项 不 会 失效 。 如 果 希 望 绥 存 项 在 指定 时 间 内 不 命中 就 失效 的 话 ， 可 以 
设置 缓存 项 沉寂 的 最 大 时 间 。 比 如， 如 果 希 望 缓存 项 60 分 钟 内 不 命中 就 失效 的 话 ， 就 设 
置 该 属性 值 为 60m. 


”如 果 想 确保 ElasticSearch 应 用 node-level 域 数据 缓存 ， 用 户 可 以 设置 
Wg index.fielddata.cache.type 属 性 值 为 node， 或 者 根本 不 设置 该 属性 的 值 即 可 。 


域 数 据 过 滤 


除了 前 面 提 到 的 配置 项 ，ElasticSearch 还 允许 用 户 选 择 域 数据 加 载 到 域 数据 缓存 中 。 这 
在 一 些 场景 中 很 有 用 ， 特 别 是 用 户 记得 在 排序 和 faceting 时 使 用 域 缓存 来 计算 结果 。 
ElasticSearch 允 许 用 户 使 用 两 种 类 型 过 滤 加 载 的 域 数 据 : 通过 词 频 ， 通 过 正则 表达 式 ， 或 者 
结合 这 两 者 。 


样 例 之 一 就 是 faceting 功 能 : 用 户 可 能 想 把 频率 比较 低 的 term 排 除 在 faceting 的 结果 之 
外 ， 这 时 ， 域 数据 过 滤 就 很 有 用 了 。 比 如 ， 我 们 知道 在 索引 中 有 一 些 term 有 拼写 检查 的 错 
误 ， 当 然 这 些 term 的 基数 都 比较 低 。 我 们 不 想 因 此 影响 faceting 功 能 的 计算 ， 因 此 只 能 从 数据 
集中 移 除 他 们 : 要 么 从 从 数据 源 中 更 改过 来 ， 要 么 通过 过 滤器 从 域 数据 缓存 中 去 除 。 通 过 过 
滤 ， 不 仅仅 是 从 ElasticSearch 返 回 的 结果 中 排除 了 这 些 数据 ， 同 时 降低 了 内 存 的 占用 ， 因 为 
过 滤 后 存储 在 内 存 中 的 数据 会 更 少 。 接 下 来 了 解 一 下 过 滤 功 能 ° 


添加 域 数 据 过 滤 的 信息 


为 了 引入 域 数 据 过 滤 信 息 ， 我 们 需要 在 mappings 域 定义 中 添加 额外 的 对 象 : fielddata 对 
象 以 及 它 的 子 对 象 ，filter。 因 此 ， 以 抽象 的 tag 域 为 例 ， 扩 展 后 域 的 定义 如 下 : 


"tag" : { "type" : "string", "index" : "not_analyzed", "fielddata" : { "filter" : {... } }} 


在 接 下 来 的 一 节 中 ， 我 们 将 了 解 filter 对 象 内 部 的 秘密 


通过 词 频 过 滤 


词 频 过 滤 功 能 允许 用 户 加 载 频 率 高 于 指定 最 小 值 (min 参 数 ) 并 且 低 于 指定 最 大 值 (max 参 数 ) 
的 term。 绑 定 到 词 频 的 min 和 max 参 数 不 是 基于 整个 索引 的 ， 而 是 索引 的 每 个 段 ， 这 一 点 非常 
重要 ， 因 为 不 同 的 段 词 频 会 有 不 同 。min 和 max 参 数 可 以 设 定 成 一 个 百分数 (比如 百 分 之 一 就 是 
0.01， 百 分 之 五 十 就 是 0.5) 或 者 设 定 为 一 个 具体 的 数值 。 


此 外 ， 用 户 还 可 以 设 定 min\_segment_size 届 性 值 ， 用 于 指定 一 个 段 应 该 包含 的 最 小 文档 
这 构建 域 数据 缓存 时 ， 低 于 该 值 的 段 将 不 考虑 加 载 到 缓存 中 。 


比如 ， 如 果 我 们 只 想 把 满足 如 下 条 件 的 term 加 载 到 域 数据 缓存 中 : 1、 段 中 的 文档 数 不 少 
于 100 ; 2、 段 中 词 率 在 1% 到 20% 之 间 。 那 么 域 就 可 以 定义 如 下 : 


{ "book" : { "properties" : { "tag" : { "type" : "string", "index" : "not\ analyzed", 
"fielddata" : { "filter" : { "frequency" : í "min" : 0.01, "max" : 0.2, "min, segment\ size" : 
100}}}}}}} 

通过 正则 表达 式 过 滤 


从 了 可 以 通过 词 频 过 滤 ， 还 可 以 通过 正则 表达 式 过 滤 。 比 如 有 这 样 的 应 用 场景 : 只 有 符 
表达 式 的 term 才 可 以 加 载 到 缓存 中 。 比 如 ， 我 们 只 想 把 tag 域 中 可 能 是 Twitter 标签 (以 # 
字符 开头 ) 的 term 加 载 到 缓存 中 ， 我 们 的 mappings 就 应 该 定义 如 下 : 


"Ür." " "W" [[ 


{ "book" : { "properties" : í "tag" : { "type" : index" : "notN analyzed", 


"fielddata" : í "filter" : { "regex" : "NHV" PY PHH 


string", 


通过 正则 表达 式 和 词 频 共同 过 滤 


理所当然 ， 我 们 可 以 将 上 述 的 两 种 过 滤 方 法 结合 使 用 。 因 此 ， 如 果 我 们 希望 域 数据 缓存 
中 tag 域 中 存储 满足 如 下 条 件 的 数据 : 1、 以 # 字 符 开 头 ; 2、 段 中 至 少 有 100 个 文档 ; 3、 基 于 
段 的 词 频 介 于 1% 和 20% 之 间 ， 我 们 应 该 定义 如 下 的 mappings: 


"r." "Ü" "Ü. W" 


{ "book" : { "properties" : í "tag" : { "type" : index" : "notN analyzed", 
"fielddata" : { "filter" : { "frequency" : { "min" : 0.1, "max" : 0.2, "min\ segment\ size": 


100 }, "regex" : "^#.*" }}}}}} 


string", 


.请 记 住 域 缓 存 不 是 在 索引 过 程 中 构建 的 ， 因 此 可 以 在 查询 过 程 中 重新 构建 ， 
SS > 我 们 可 以 在 系统 运行 过 程 中 通过 mappingsAPl 更 新 fielddata 部 a 
， 然 面 ， 读 者 需要 记 住 更 新 域 数 据 加 载 过 滤 设置 项 后 ， 缓 存 必 须 用 相关 的 
. 。 关 于 缓存 清理 API， 可 以 在 本 章 的 清空 缓存 一 节 中 了 解 到 。 
过 滤 功 能 的 一 个 例子 
接 下 来 我 们 回 到 过 滤 章 节 开 头 的 例子 。 我 们 希望 排除 faceting 结 果 集 中 词 频 最 低 的 term ° 
在 本 例 中 ， 词 频 最 低 即 频率 低 于 50% 的 term， 当 然 这 个 频率 已 经 相当 高 了 ， 的 例子 
中 只 有 4 个 文档 。 在 丫 实 产品 中 ， 你 可 能 需要 将 词 频 设置 得 更 低 。 为 了 实现 这 一 功能 ， 我 们 用 
如 下 的 命令 创建 一 个 books 索 引 : 
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curl -XPOST 'localhost:9200/books' -d '{ "settings" : { "number, of\ shards" : 1, 
"number, of\ replicas" : 0 ), "mappings" : { "book" : { "properties" : { "tag" : { "type" : 


"string", "index" : "not\ analyzed", "fielddata" : { "filter" : { "frequency" : { "min" : 0.5, 


"max" :0.99}}}}7}}}Y 


接 下 来 ， 通 过 批 处 理 API 添 加 一 些 样 例文 档 : 
curl -s -XPOST 'localhost:9200A_bulk' --data-binary ' { "index": ("N index": "books", 
" type": "book", "N id": "1"} {"tag":["one"]} { "index": ("N index": "books", "N type": 
"book", "V id": "2"} {"tag":["one"]} { "index": ("N index": "books", "V type": "book", "N id": 
"3"}} {"tag":["one"]} { "index": ("N index": "books", \ type": "book", "N id": "4"} "tag": 
["four"]} ' 


接 下 来 ， 运 行 一 个 查询 命令 来 检测 一 个 简单 的 faceting 功 能 (前 面 已 经 介绍 了 域 数 据 缓存 的 
操作 方法 ) : 
curl -XGET 'localhost:9200/books/_search?pretty' -d ' { "query" : { "match all" : {} }, 
"facets" : { "tag" : { "terms" : { "field" : "tag")) 1 y 
前 面 查询 语句 的 返回 结果 如 下 : 
{ "took" : 2, "timed\ out" : false, \ shards" : í "total" : 1, "successful" : 1, "failed" : O 
},...'"facets" : { "tag" : ( "V type" : "terms", "missing" : 1, "total" : 3, "other" : 0, "terms" : [ 
{ "term" : "one", "count": 3}]}}} 


可 以 看 到 ，term faceting 功 能 只 计算 了 值 为 one 的 term, 值 为 four 的 term 忽 略 了 。 如 果 我 们 
假定 值 为 four 的 term 拼 写 错 误 ， 那 么 我 们 的 目的 就 达到 了 ° 

缓存 的 清空 

前 面 已 经 提 到 过 ， 如 果 更 改 了 域 数 据 缓存 的 设置 ， 在 更 新 后 清空 缓存 是 至 关 重 要 的 。 同 
时 ， 想 更 新 一 些 用 到 确定 缓存 项 的 查询 语句 ， 清 除 缓存 功能 也 是 很 有 用 的 。ElasticSearch 允 
许 用 户 通过 \、 cache 这 个 rest 端 点 来 清空 缓存 。 该 rest 端 点 的 使 用 方法 随后 介绍 。 

单个 索引 、 多 个 索引 、 整 个 集群 缓存 的 清空 

我 们 能 做 的 最 简单 的 事 就 是 通过 如 下 的 命令 清空 整个 集群 的 缓存 : 

curl -XPOST 'localhost:9200/V_ cache/clear' 


当然 ， 我 们 也 可 以 选择 清空 一 个 或 者 多 个 索引 的 缓存 。 比 如 ， 如 果 想 清空 mastering 索 引 
的 缓存 ， 应 该 运行 如 下 的 命令 : 
curl -XPOST 'localhost:9200/masteringA_cache/clear' 


同时 ， 如 果 想 清空 nastering 和 books 索 引 的 缓存 ， 应 该 运行 如 下 的 命令 : 
curl -XPOST 'localhost:9200/mastering,books/V cache/clear' 


清除 指定 类 型 的 缓存 


理解 ElasticSearch 的 缓存 92 


除了 前 面 提 到 的 缓存 清理 方法 ， 我 们 也 可 以 只 清理 指定 类 型 的 缓存 。 可 以 清空 如 下 类 型 
的 缓存 : 
filter: 设 置 filter 参 数 为 rue， 该 类 型 的 缓存 即 可 被 清除 。 如 果 不 希 望 此 类 型 的 缓存 被 清 


° 
除 ， 设 置 filter 参 数值 为 false 即 可 。 
field\_data: 设 置 field\_data 参 数值 为 tue， 该 类 型 的 缓存 即 可 被 清除 。 如 果 不 希 望 此 


e 
类 型 的 缓存 被 清除 ， 设 置 field\_data 参 数值 为 false 即 可 。 
bloom: 如 果 想 清除 bloom 缓 存 (用 于 倒 排 表 的 布 隆 过 滤器 ， 在 第 3 章 索引 底层 控制 的 使 


用 Codecs 一 节 中 有 介绍 )，bloom 参 数值 应 该 设置 为 ttue。。 如 果 不 希 望 此 类 型 的 缓存 被 


清除 ， 设 置 bloom 参 数值 为 false 即 可 
想 清空 nastering 索 引 中 的 域 数据 缓存 ， 同 时 保留 过 滤器 缓存 和 没有 接触 


例如 ， 如 果 我 们 想 清空 
到 bloom 缕 存 ， 运 行 如 下 的 命令 即 可 : 
curl -XPOST 'localhost:9200/masteringA_cache/clear?fieldV data=true&filter 


=false&bloom=false' 


清除 域 相 关 的 缓存 

除了 可 以 清空 所 有 的 缓存 ， 以 及 指定 的 缓存 ， 我 们 还 可 以 清除 指定 域 的 缓存 。 为 了 实现 
这 一 功能 ， 我 们 需要 在 请 求 命令 中 添加 fields 参 数 ， 参 数值 为 我 们 想 清空 的 域 ,多 个 域 用 去 号 隔 
开 。 例 如 ， 如 果 我 们 想 清空 nastering 索 引 中 title 域 和 price 域 的 缓存 ， 运 行 如 下 的 命令 即 可 : 


curl -XPOST 'localhost:9200/masteringA_cache/clear?fields=title,price' 


本 章 小 节 


在 本 章 中 ， 我 们 已 经 学 习 了 如 何 选择 正确 的 directory 实 现 类 来 让 ElasticSearch 以 最 高 效 
的 方式 进行 JO 操 作 。 我 们 也 已 经 了 解 了 如 何 用 多 播 和 单 播 方法 配置 节点 的 发 现 模块 。 我 们 也 
探讨 了 gateway 模 块 ， 它 能 让 我 们 在 集群 对 恢复 的 过 程 进行 控制 ， 当 然 我 们 也 研究 了 恢复 模块 
和 它 的 配置 。 此 外 ， 我 们 还 学 习 了 如 何 分 析 ElasticSearch 返 回 的 索引 段 的 信息 。 有 最后， 我 们 
深入 学 习 了 ElasticSearch 缓 存 的 工作 原理 ， 学 习 了 如 何 修改 缓存 的 配置 ， 学 习 了 控制 域 数 组 
缓存 的 构建 。 


在 下 一 章 中 ， 我 们 将 学 习 应 对 突 发 事件 : 我 们 将 学 习 处 理 集群 的 故障 。 我 们 将 首先 学 习 
Java 垃 圾 回收 器 的 工作 ， 学 习 如 何 监 控 垃圾 收集 器 的 工作 ， 学 习 分 析 JVM 提 供 的 信息 。 此 
外 ， 我 们 将 学 习 throttling， 它 能 够 控制 ElasticSearch 以 及 底层 的 Apache Lucene 工 具 包 带 给 
IO 子 系统 的 压力 。 我 们 也 将 了 解 warmers 带 给 查询 性 能 的 影响 ， 也 将 学 习 如 何 使 用 warmer ° 
最 后 ， 我 们 将 学 习 如 何 使 用 ElasticSearch 提 供 的 hot threads API， 以 及 如 何 使 用 
ElasticSearch API 提 供 有 用 信息 和 统计 结果 来 诊断 和 应 对 系统 问题 。 


第 6 章 应 对 突 发 事件 


第 7 章 优化 用 户 体验 


Je 
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